GPT-5快来了?训练或需5万张H100显卡

描述

  最近,openai宣布推出了一种名为gptbot的网络跟踪工具,可以自动截取网站数据。而且,openai向美国专利厅(uspto)申请了“gpt-5”的商标。因此有人推测,openai正在训练更先进的ai系统。

  openai从gpt-4开始对技术细节进行了彻底的保密,最初只对一份技术报告进行了基准测试,而没有提及训练数据和模型参数。但是,gpt-4的培训需要大量的数据,并不是付费就能解决的问题。openai使用网络爬行动物。

  此次openai直接公开了——gptbot。openai表示:“使用gptbot搜索网络数据是为了提高ai模型的准确性、功能和安全性。”但是,网站所有者可以根据需要允许或限制gptbot对网站数据的访问。

  openai于7月18日提交了“gpt-5”的商标申请,并将由美国专利厅(patent office)作为满足申请条件的申请条件接受,之后将得到审查人员的批准。这些迹象表明gpt-5即将上市。

  在业界的讨论下,gpt-5将有新的功能,包括多模态。目前,gpt-4只能处理文本和图像两种数据,但人们期待gpt-5在声音、视频等其他形式上也能取得突破性的发展。随着gpt-4的发展,预计gpt-5将发展成为saas (software-service)平台。也就是说,gpt-5不是一个简单的软件,它可以整合到多个网站、移动应用程序和计算机系统,并且可以在多个垂直领域拥有插件。

  但是gpt-5训练需要更大的计算能力。据一篇论文预测,gpt-5需要30000到50000张集成到h100的显卡。人们推测gpt-4可能被训练成10,000到25,000张a100。meta拥有约21000张,特斯拉拥有约7000张,stability ai拥有约5000张,palcon -40b拥有约384张a100。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分