OpenAI研发高效推理方案:模型运行成本降低50%

快科技7月1日消息,据The Information,知情人士透露,OpenAI工程师本月早些时候向团队内部表示,依托多项全新研发的优化技术,已成功找到一套可将模型推理成本削减一半以上的方案。

在将该技术应用于无免费或付费账户的访客ChatGPT使用场景后,所需英伟达GPU数量一度被压缩至仅数百个,效率提升显著。

此前有消息称,OpenAI与博通联合研发的ASIC芯片项目——代号“墨西哥胡椒”。

该芯片完全针对大模型推理从零开始设计,当专用芯片摆脱通用GPU架构的束缚后,硬件突破带来的不再是温和升级,而是实质性的重构,推理成本最高可直接降低一半。

随着头部AI厂商掌握自主算力源头,对英伟达GPU的依赖逐步减少,通用硬件的产能与定价权将不再构成制约,也意味着整个AI生态话语权正在发生转移。

OpenAI研发高效推理方案:模型运行成本降低50%

原创文章,作者:admin,如若转载,请注明出处:http://www.kandianxun.com/ai/98669.html

(0)
adminadmin
华为用户别错过!7月服务日本周开启:手机贴膜免费、维修免人工费
上一篇 2天前
严重依赖美国引警惕 日本要砸1500亿日元打造本土星链
下一篇 2天前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注