TL;DR:
前OpenAI首席科学家伊利亚·苏茨克沃提出,AI产业的“规模化时代”已终结,亟需回归对泛化能力的“真正的研究”,而非盲目堆叠算力。他认为,理论的突破将使得所需算力变得可控,并重新定义通用人工智能的本质,预示着一个以思想和洞察力为驱动的新AI竞争纪元。
当前产业格局分析:规模化尽头的挑战
过去五年,人工智能领域的主旋律无疑是“规模即一切”的信仰。从AlexNet到GPT-3,深度学习的巨大成功似乎验证了一个简单而有效的公式:投入更多计算资源、训练数据与模型参数,性能便能稳定提升。这种“Scaling”策略以其可预测的回报吸引了全球数十亿美元的资本狂潮,将AI研发从充满不确定性的科学探索,转变为一场资源密集型的扩张竞赛。1 研发机构乐于将巨额资金投入算力合同,因为在短期内,这看起来是获得确定性增长的最“安全”路径。
然而,伊利亚·苏茨克沃——这位曾深度参与塑造“规模就是王道”时代的传奇科学家——近期却向这一核心教条发出了挑战。他直言不讳地指出,靠堆算力、拼规模的时代已经结束。这一论断并非细枝末节的修正,而是一次对AI发展方向的根本性质疑。他观察到,高质量的训练数据正在枯竭,合成数据带来的收益也已步入递减拐点。1 当扩张曲线趋于平坦,所有依赖规模驱动的大型实验室都将面临一个无法回避的问题:接下来的增长动力何在? 现有的路径虽能进一步优化,但已无法触及“真正的智能”的核心。他并非抱怨算力不足,而是直接质疑当前智能架构本身的根本缺陷。
变革驱动力解读:泛化能力的回归与“算力悖论”
苏茨克沃理论的技术核心直指人工智能的“老难题”——泛化能力。尽管当前的大模型在基准测试中表现出色,但在现实世界的复杂情境下却常常失效,暴露出底层机制的不足。他以代码助手为例:模型能在编程竞赛中击败人类,却可能在一个简单的bug修复任务中陷入死循环,不断制造新问题或重复旧错误。1 这种“偏执的专才”现象,与人类智能“用少得多的数据快速学习、广泛适应”的能力形成鲜明对比。
“这些模型的泛化能力,不知怎的就是比人差一大截,这太明显了,感觉是个非常根本的问题。”2
他认为,现有模型可能在特定奖励信号下被过度优化,导致强化学习训练出狭隘的专注,丧失了更广泛的能力。研究者无形中“为考核而训练”,使得基准测试与实际效用脱节。理解可靠的泛化机制,正是苏茨克沃眼中AI领域的核心未解之谜,也是解决包括AI对齐在内诸多衍生问题的关键。
这引出了其著名的**“算力悖论”**:
“理论对了,所需的算力是可控的;理论错了,再多算力也白搭。”1
这一观点得到了谷歌在大模型领域最新进展的初步印证。谷歌在各条技术栈上追平甚至超出OpenAI的事实,表明其在理论研究上可能取得了重要突破,从而使算力模式(从GPU到TPU)和所需算力变得更可控。1 这预示着,“软硬一体”(硬件设计制造+算法演进突破)的竞争模型,将成为未来AI公司发展的必由之路。这意味着,战略性地投资于深层技术理论创新,其长期回报可能远超短期堆叠硬件资源。
未来竞争态势与生态重塑:研究驱动的产业新纪元
苏茨克沃在创建其新公司“安全超级智能公司(SSI)”时,便将这一理念付诸实践。SSI的目标是开发安全且超越人类能力的AI系统,3 其战略重心纯粹放在研究上,特别是理解泛化、人类式学习方式,以及模型如何在少量示範下自我提升。4 公司没有产品、没有推理负载,避免了一切可能分散研究焦点的干扰。他指出,前沿实验室的巨额开支,很大一部分被推理基础设施、产品工程和多模态研发所瓜分,真正用于核心理论研究的预算并非外界想象的那么巨大。1
历史也支持这一观点:AlexNet和Transformer等真正的范式突破,在诞生之初所需的算力规模远非今日可比,它们依赖的始终是洞察力而非单纯的计算量。SSI的成立,是一场纯粹的战略豪赌:当范式转变时,思想比预算更重要。1 这将重新定义AI产业的投资逻辑和竞争格局。未来的竞争,将更多回归到2020年以前由**想法驱动、充满不确定性且依赖“品味”**的真正研究本身。那些能够识别优美、简洁并从生物智能中汲取灵感的方向,并通过坚定的信念穿越失败的研究团队,将成为新的赢家。
伦理、哲学与超智能的未来:AGI的再定义与对齐远景
苏茨克沃的洞察甚至延伸到了对**通用人工智能(AGI)**概念的重新审视。他激进地提出,人类本身也不是传统意义上的AGI,即“无所不知的系统”。人类智能并非一次性灌输全部知识,而是通过掌握基础能力,然后在与世界的持续互动中学习具体技能。这种理解对AI的部署策略具有深远影响:如果超级智能是一个“能快速学会任何事的系统”,那么部署就将是一个持续教育的过程,而非一次性发布一个“完美”的系统。你可以发布一个“充满渴望,现在懂得不多,但是个极好的学生”的“超级智能的15岁少年”。1
在AI对齐(AI Alignment)方面,苏茨克沃提出了一个更具哲学深度的目标:关心所有感知生命的AI,而不仅仅是人类。他推测,AI如果自己拥有感知能力,关心所有感知生命将比只关心人类更为自然。他以人类自身跨物种共情为例,暗示大脑通过一套高效的神经机制理解自我与他者,共情可能成为效率的副产品。1 尽管这一理论在神经科学和哲学层面仍存争议,但它凸显了AI伦理思考的边界正被不断拓宽,超智能的出现将深刻影响我们对智能、生命乃至共情本质的理解。
随着AI能力的可预测增长,未来5到20年内,具备类人泛化能力的学习系统将出现。1 这将促使行业在安全问题上进行更深度的合作,并引发政府更广泛的介入。当AI“让人感觉到它的强大”时,对安全的关注将变得偏执得多。这场从规模到思想的范式转变,不仅将重塑技术发展路径和商业竞争版图,更将深刻触及我们对智能、学习和生命未来本质的终极追问。
引用
-
算力悖论:理论对了所需算力是可控的,理论错了再多算力也白搭·36氪·穆阳(2024/07/04)·检索日期2024/07/04 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎
-
算力悖论:理论对了所需算力是可控的,理论错了再多算力也白搭-36氪·36kr.com·(2024/07/04)·检索日期2024/07/04 ↩︎
-
前OpenAI 聯合創始人:AI 發展瓶頸已現,未來或迴歸研究本質·news.aibase.com·(2024/07/04)·检索日期2024/07/04 ↩︎
-
前OpenAI 科學家:堆算力已到極限,AI 產業必須重返研究核心·abmedia.io·(2024/07/04)·检索日期2024/07/04 ↩︎