走出“苦涩的教训”：Richard Sutton与20瓦智能体的终极实验

TL;DR：

强化学习奠基人Richard Sutton通过创立Oak Lab，试图从范式层面挑战当前大模型依赖大规模离线预训练的局限，通过OaK架构探索“实时经验学习”这一通往真正AGI的低功耗路径。

从“苦涩的教训”到“经验的觉醒”

在人工智能发展的叙事中，Richard Sutton的《苦涩的教训》（The Bitter Lesson）曾被奉为圭臬：只要计算规模足够大，通用的学习算法终将战胜人类手工设计的知识结构¹。然而，当行业全员奔赴参数规模竞争时，这位强化学习的祖师爷却站在了潮水的另一端。

Sutton离开曾与John Carmack并肩作战的Keen Technologies，创立Oak Lab，其本质是一次对“规模神话”的哲学反叛。他认为，当前的深度学习路径虽然在静态任务中表现出色，但因过度依赖离线预训练和静态数据集，导致模型失去了“像生命一样持续演进”的能力。他提出的目标——在万亿参数规模下，实现仅20瓦能耗的实时学习与规划，不仅是技术指标的挑战，更是对机器智能本体论的重新定义²。

技术重构：OaK架构的逻辑与野心

Oak Lab所依赖的OaK（Options and Knowledge）架构，是这一范式转移的核心。与Transformer架构通过“注意力”在大规模语料中寻找相关性不同，OaK架构追求的是时间抽象（Temporal Abstraction）。

• 实时学习范式：放弃离线海量数据训练，转向以Batch size为1的实时更新机制，使智能体每一次行为决策都成为模型知识更新的契机³。
• 时间抽象能力：通过拆解长程任务为可复用的层级化技能，使AI能够像人类一样，将“去厨房接水”这样的复杂流程固化为可调用的原语，而非每次都从零开始计算概率分布。
• 能效的哲学：20瓦功耗不仅是硬件设计的目标，更是衡量一个系统是否具备生物级智能的关键基准。这代表了系统从“算力堆叠”向“高效信息处理”的回归。

商业与产业生态的潜在位移

从商业视角看，Sutton的转型标志着AGI研发从“资本密集型”向“算法效率型”的潜在转向。当前大模型厂商深陷数据枯竭与算力成本的军备竞赛中，而Oak Lab的路线若能跑通，将直接打破这一僵局。

这意味着未来AI产业的价值重心可能从数据标注中心向具身交互实验室转移。一旦AI能够在与环境互动的过程中自主产生高质量经验，那种昂贵的、依赖人类反馈的RLHF（人类反馈强化学习）环节可能会被彻底重塑。对于企业而言，这是从“模型即服务”到“智能体即服务”的底层技术基石迭代。

未来展望：智能的本质在于持续性

Sutton认为，智能体必须在“大世界”中保持动态。如果AI无法根据实时环境遗忘旧知识、吸收新经验，它终究只是一个被困在时间切片里的静态快照。

未来3-5年，我们可能看到一场围绕“持续学习（Continual Learning）”的竞赛。Oak Lab的出现，迫使整个行业重新思考：我们到底是在追求一个更庞大的统计学机器，还是一个能与环境共存的进化型个体？正如Sutton所言，强化学习的第一性原理在于智能体与环境的交互。这场回归本质的创业旅程，或许正是通向超级智能的真正破局点。

引用

• 强化学习
• AGI
• 持续学习
• 具身智能
• 范式转移