Meta推出Llama 3大模型 在集成近25000块英伟达H100计算集群上训练

4月19日消息，据外媒报道，Meta公司在当地时间周四推出了他们最新一代大语言模型Llama 3的早期版本，并宣布推出基于这一模型打造的人工智能助手Meta AI。

从外媒的报道来看，同前一代大模型Llama 2一样，Meta新一代的Llama 3大模型，也注重供用户免费使用，目前已有两种不同参数版本的Llama 3可供用户使用，分别为80亿参数和700亿参数，均已可在Meta官网下载。

对于Llama 3大语言模型，Meta公司CEO马克•扎克伯格在接受采访时透露，他们在训练700亿参数的模型时，使用了15T tokens的数据，在训练过程中模型从未达到饱和状态，也就是从未在能力提升过程中遇到瓶颈，Meta最终也解决了训练过程中遇到的问题，并转向训练其他的模型。

正如外媒在报道中所提到的一样，Meta目前推出的还只是Llama 3的早期版本，他们还在训练更强大的模型。外媒在报道中就提到，Meta已宣布他们目前正在训练有4000亿参数的Llama 3模型，部分专家认为他们的这一模型，在MMLU、GPQA、HumanEval、MATH等方面的表现，将与OpenAI的GPT-4 Turbo, Anthropic的Claude 3 Opus和谷歌的Gemini Ultra相当。

作为全球人工智能领域重要参与者的英伟达，在Meta训练的Llama 3上也发挥了关键作用，提供了大量的GPU。

在Meta宣布推出Llama 3之后不久，英伟达就在官网上披露，Meta的工程师是在集成了24,576块H100 GPU的计算集群上训练的Llama 3，这些GPU通过英伟达的Quantum-2 InfiniBand网络连接。在英伟达的支持下，Meta也为他们的旗舰模型调整了网络、软件和模型架构。（海蓝）

Warning: Invalid argument supplied for foreach() in /home/wwwroot/www/chjia.com/goods.php on line 843

Warning: Invalid argument supplied for foreach() in /home/wwwroot/www/chjia.com/goods.php on line 843

Warning: Invalid argument supplied for foreach() in /home/wwwroot/www/chjia.com/goods.php on line 843
苹果计划6月发布一系列生成式AI工具

IT之家1月8日消息，马克・古尔曼（MarkGurman）在最新一期“PowerOn”中透露：苹果计划在6月份的全球开发者大会（WWDC）上推出一系列基于生成式人工智能的工具。古尔曼表示，这些新工具将作为iOS18的一部分出现在大...

英伟达AI峰会10月15日至16日举行 CEO黄仁勋将发表主题演讲

9月29日消息，英伟达今日在官网发布事件公告，将于10月15日到16日在以色列特拉维夫召开AI峰会，就人工智能的各个方面进行探讨，其首席执行官黄仁勋将发表主题演讲。英伟达介绍称：“今年10月，开发商、决策者和商业...

微软CEO纳德拉称AI诞生堪比原子能，需要展开全球治理

IT之家10月26日消息，微软现任首席执行官萨蒂亚・纳德拉（SatyaNadella）认为，人工智能（AI）的出现不亚于原子弹，呼吁全球加强监管。纳德拉近日前往AxelSpringer总部，领取2023年AxelSpringer奖，在颁奖活动中，他...

阿尔特曼“亲自带货”，消息称OpenAI向数百名世界500强高管推荐ChatGPT企业版

4月15日消息，据路透社报道，OpenAI首席执行官萨姆・阿尔特曼本月在旧金山、伦敦和纽约等地分别接待了数百名《财富》世界500强公司的高管。与会者表示，阿尔特曼与其他OpenAI高管一同在这些地方为企业提供了人工智能...

AI软件初创公司Modulal寻求A轮融资以挑战英伟达

据TheInformation的一篇独家报道，人工智能初创公司ModularInc.正与包括GeneralCatalyst在内的投资者进行谈判，寻求一轮大规模的融资，该公司的估值将达到约6亿美元。在人工智能成为科技领域最热门的趋势之际，该公...