Llama 3每秒输出800个token逼宫openAI！下周奥特曼生日或放出GPT-5？
新智元报道
编辑：桃子 Lumina
【新智元导读】Llama 3的开源，或将催生数十亿美元新产业。发布不到一周的时间，全网各种测试微调都开启了。甚至，Llama 3在Groq上的输出速度实现了每秒800个token。
Llama 3诞生之后便艳压群雄，开源界已无「模」能敌。
甚至，让网友为OpenAI捏了一把汗！
现在的Llama 3-70B已经一路攀升到大模型排行榜前列，仅次于GPT-4，打败了Claude 3 Opus。
没想到，70B都这么能打，400B简直不敢想象。
英伟达高级科学家Jim Fan预言，「GPT-5一定会在Llama 3 400B发布之前出世」！
还有网友认为，「我们现在有了一个顶级的开源竞争者，OpenAI的巨大优势已经不复存在」。
从Llama 1，到Llama 2、代码版Code Llama高调开源，颠覆了整个大模型圈，掀起新模型构建狂澜。
如今的Llama 3，对全世界意味着什么？
数十亿美元新产业将涌现
Hugging Face创始人Clement Delangue称，目前基于Llama 1和2构建的开源模型已有30000多个。
目前，Llama 3是最强大的开源模型，肯定会对生态系统产生重大影响。
在一个总榜上，Llama 3超越了许多的开源、闭源模型。
发布不到一周，AI社区研究者们已经疯狂开启了对Llama 3的测试、微调。
Reddit网友使用Llama 3 70B，非常轻易地制作了一个完美的「贪吃蛇」游戏，并且在苹果测试中表现优秀。
但最令人振奋的是，这个模型可以进行微调。
它绝对会疯狂发展。任何中小型公司都可以利用Llama 3 400B将生产力提升到空前水平。
还有人通过HF Chat使用葡萄牙语测试LLaMA 3，结果发现其超出预期，通过了推理测试。
仅用一张英伟达2070显卡，开发者使用Llama 3 8B升级了本地离线AI。
竟发现，与这个AI助手AniyaAI的对话更有人情味儿了。
目前，一个全新的微调新模型dolphin-2.9-llama3-8b诞生了，已在Huggingface上发布。
还有网友在M1 MacBook上使用mlx框架，测试发现llama 3 8b的速度约为95 token/秒。
对于Meta来说，Llama 3不仅仅是一个研究项目。
它更是Meta将AI接入其庞大的应用和服务生态系统战略的关键部分。
小扎在最新采访中透露，Llama 3停止训练后，仍在学习。Meta之所以停止训练，是因为需要GPU来开始测试 Llama 4。
值得一提的是，Llama 3的贡献者名单中也有小扎。
AI创业公司Abacus AI的首席执行官表示：
「Llama 3 400B将彻底改变世界，成为一个巨大的加速器！你可以使用GPT 4-5级别的模型做非常强大的事情。
想象一下，将模型微调为AI医生、AI经理，或AI女友。未来，基于这个基础模型，将会涌现价值数十亿美元的初创公司」！
每秒输出800个token，Llama3惊呆网友
另一边，Groq也第一时间提供了对Llama3 8B和70B的支持。
网址：https://console.groq.com/docs/models
Groq Cloud提供的支持，可以让大家在没有GPU的情况下使用这两个大模型。
这无疑是对硬件资源不足、难以运行模型的微小企业与个人的巨大利好！
并且，Llama3在Groq上的表现也尤为惊艳：模型能以每秒超过800个token的速度运行！
而一直以来的大模型王者GPT-4和新晋之秀Claude 3 Opus，其生成速度也仅有每秒36 token和18 token!
这几乎是革命性的飞跃！
Clamath与Groq的 CEO认为：接下来，Groq将拥有比所有大型科技公司的总和还要多的AI生成能力！
800 token/每秒的速度，意味着大模型将更具成本效益，并能在更广泛的范围内应用、落地。
而Llama3媲美GPT-4级别的实力，打开了未来AI的无数种可能性。
网友们的亲身体验更是力证了这一点！
首先是简单的从1到500的计数：
GPT-4还在卡顿时，Groq上的Llama3刚一接收指令就已经完成了任务。
当Llama3已经完成任务半天了，GPT-4连100以内都没计数完。
然后任务难度升级，要求模型用Python编写贪吃蛇游戏：
Groq上的Llama3不到3秒就结束了战斗，而GPT-4却用了半分多钟才搞定。
接着另一个程序员网友试着让Llama3创建一个用PHP编写的待办事项列表。
指令刚发出就得到了结果，网友大为震撼，评价这次的使用体验：
「就像光速一样。」
同时，在调用多个工具完成任务方面，Llama3的表现依旧惊艳！
调用工具所用时间小于4秒，面对复杂的财务问题，回答也仅用了2.9秒。
就连抓取整个网站提供给Llama3，它也可以在短短几秒内就完成响应。
甚至Llama3的8B模型2秒就能让完整的文件从λ-Calculus 转换为惯用的JS......
体验过的网友直接惊呼：「这是什么魔法？」
最让人震撼的是，Groq上的模型还都是免费开放的，团队甚至没有制作付费选项！
在如此优秀的性能和强大免费的攻势下，已经有人宣布
「我不会再用GPT-4 Turbo了。」
与Groq上的Llama3的光速响应相比，ChatGPT的缓慢已经引起了大多数用户的不满。
有人制作了使用了Groq上的Llama3后，再切换到ChatGPT上的GPT-4体验的表情包：
更有网友锐评：
「就连Claude都比ChatGPT快！它的缓慢有时让我昏昏欲睡。」
虽然有人厌倦了ChatGPT的缓慢，但也有人认为GPT较慢的生成反而增加了内容的可读性，也更适合人机交互。
「快速获取数据的确非常棒！
但较慢的生成有利于内容的可读性和对任务流程的理解，这对用户体验来说更友好。」
此外，也有人认为Llama3的回答准确率不怎么高，不能只看速度不看质量。
OpenAI优势将不复存在？
从Gemini到Claude 3接连叫板，再到类GPT-4级别的开源400B模型预告，GPT-4真的危了！
许多网友纷纷在线催更GPT-5。
据传言，OpenAI有可能在22日（当地时间周一）有大动作。
因为那天，正好是奥特曼的生日。
与此同时，OpenAI官方账号还发了一个有着数字「22」标志的王座。
不过近来，奥特曼在采访中曾表示，OpenAI有改进模型的使命，所以我们会把所有初创公司干掉。
但在还没有发布GPT-5之前，初创公司需要有危机感了。
参考资料：
https://x.com/op7418/status/1781602335619494239
https://x.com/verysmallwoods/status/1781479061144940736
https://x.com/svpino/status/1781362565786075525
https://x.com/DrJimFan/status/1781386105734185309