万亿算力白烧了？OpenAI Scaling Law论文被曝致命bug，整个AI圈被“带偏”好几年！

TL;DR：

OpenAI那篇被奉为AI界“圣经”的Scaling Law论文，居然有个大bug！前研究员亲自下场“手撕”旧文，揭露当年为了堆参数，全球AI大佬们白白烧掉了海量算力。GPT-3可能是“虚胖”的，而所谓的“规律”更像一场精心包装的误会。这波操作，属实有点“塌房”的味道了。

深夜炸弹：OpenAI的“金科玉律”是错的？

如果你在2020年问一个AI研究员：“怎么做大模型最有效？”十有八九会得到一个斩钉截铁的答案：堆参数，往死里堆！

这话的底气就来自OpenAI那篇著名的Scaling Law论文。它告诉我们，在固定的算力预算下，把模型做得越大，效果就越好。公式明明白白写着：最优参数量正比于算力的0.73次方。于是，业界闻风而动，GPT-3带着1750亿个参数闪亮登场，仿佛开了“大力出奇迹”的BGM。

然而，就在前几天，一声惊雷炸响。前OpenAI研究员Diogo Almeida发了一篇博客，标题冷得让人起鸡皮疙瘩——《Scaling Laws, Honestly》。¹ 他劈头盖脸一句：最初那版scaling law，因为一个bug，是错的。

DeepMind那位因扩散模型封神的大佬Sander Dieleman，连夜在推特上转发并盖章：这个bug大概率害得业界在一堆“体量过大、训练不足”的模型上，白白烧掉了海量算力。²

好家伙，全行业埋头干了五年的“第一性原理”，居然是一个程序员的低级失误？这感觉就像你跟着导航开车，开了两千公里才发现，导航里有个坐标点设错了。

Scaling Law竟是LLM版“地心说”

2020年，OpenAI给出结论：参数是那个更该猛冲的变量。 模型要更大，数据可以先放放。

两年后，DeepMind甩出Chinchilla论文，直接把这块招牌砸了个粉碎。³ 他们驯了一个700亿参数的模型，喂了1.4万亿token——体量不到GPT-3的一半，数据却是它的四倍多。结果呢？同样的算力预算，Chinchilla全面反超了当时2800亿参数的Gopher。

翻译成人话：同样一笔钱，一个养成了“虚胖”的壮汉，一个练成了精瘦的拳手。

但最魔幻的还在后面。就连“正确”的Chinchilla，自己也不干净。2024年有研究者扒出它的论文里也藏着bug：优化器里的loss尺度设得过高，拟合过早终止。⁴ 纠正bug的论文，自己带着另一个bug。这循环，简直了。

所谓Scaling Law，从来就不是牛顿三定律那种铁打的物理规律，它只是一条经验拟合出来的曲线。说白了，它就是个“地心说”——看着像那么回事，实际上是在一个错误前提下的自圆其说。

OpenAI三招“骗”了全球AI同行？

Diogo的分析直指要害：要制造一个让全球AI集体相信的谎言，只需要三步。

第一步：囚禁数据。 论文给所有模型——不管你是小模型还是大模型，喂了完全相同的数据量（约130B tokens）。小模型被“喂饱”甚至“撑到”，而大模型却严重“营养不良”。这就像让幼儿园小朋友和博士生用同一张试卷、同一时间考试，然后宣称“成绩只与天赋有关”。

第二步：掩耳盗铃的LR衰减。 他们使用了余弦学习率衰减，让学习率在训练接近终点时平滑归零。训练一“平”，看起来就像模型已经到极限了。这不是模型的极限，这是学习率把模型的成长之路人为掐断。 它制造出一种完美的假象：性能已经到达天花板，再加数据也无用。

第三步：权威的傲慢。 论文里写了一句轻飘飘的话：结果“基本不受学习率曲线影响”。虽然当时OpenAI内部也有人隐约感觉不对劲，但在固定的token预算下，这个结论技术上正确。可它偏偏不适用于Scaling Law真正想描述的那个“数据无限”的理想世界。他们把有限条件下的局部真理，当成了普适的宇宙法则。

这三步叠在一起，你就得到了一条既错、又极难debug的定律。连Diogo自己都承认：当年他也在OpenAI做优化，也没看出这个bug——那条学习率曲线看着太像是“精心设定”的了，谁会去怀疑呢。

GPU被白白浪费，算力错配严重

这不仅仅是钱的问题。这是在通往AGI（通用人工智能）的生死时速中，人类因一个学习率的设置，集体在错误的跑道上狂奔了数千公里。

更扎心的是，研究者Adam Zachary Wasserman指出了一个被所有人忽略的盲点：即便公式修正了，目前的Scaling Law也只是“英语Scaling Law”。⁵

他做了一个实验：用同样的架构、同样的算力训练模型，发现法语模型达到某种语法能力的效率，竟然比英语模型高出50到100倍。为什么？因为英语是一种“形态贫乏”的语言，太依赖分布规律，需要模型在海量数据中去猜词义；而像法语、中文这种形态丰富或结构严密的语言，词汇本身就带有大量明确信息。

这意味着，我们现在所有的算力配比方案，都是基于一种最“吃数据”、最低效的语言制定的。 当你以为你在探索“通用智能”的物理定律时，你其实只是在测量“英语这门语言有多浪费算力”。

结尾：算力不是万能钥匙

复盘整个事件，我们得到的不止是一个八卦。它告诉我们，AI领域的“第一性原理”远没有想象中那么神圣。模型的规模、数据的大小、算力的分配，这三者之间的关系比任何一条曲线都更复杂、更动态。

我们本可以用更小的模型、更多的优质数据，实现更强的性能。 我们本可以节省下数以万计的H100运行时的电力和热量。 我们本可以提前两年进入“高效AI”时代。

但好在，bug被发现了，行业开始自我修正。下一个五年，也许我们不再迷信“大力出奇迹”，而是学会当一个聪明的拳手——不追求虚胖，只追求精准的一击。

---

引用

• Scaling Law
• OpenAI
• AI算法
• 算力浪费
• 大模型