智谱GLM-4.5：从MoE到Agentic AI，重塑大模型技术与商业新版图

TL;DR：

智谱GLM-4.5团队通过AMA揭示了其在上下文扩展、MoE架构、推理与Agent能力上的未来聚焦，强调数据工程与开源生态的关键作用，预示着AI模型正走向大参数与边缘小模型并存、通用与专用协同的多元化发展路径。

近日，智谱AI GLM-4.5团队在Reddit上进行的一场AMA（Ask Me Anything）活动，为全球AI社区揭示了其最新旗舰模型GLM-4.5背后的技术哲学、未来规划及对整个大模型生态的深刻洞察。这场对话不仅是智谱技术实力的展示，更是对当前AI前沿趋势的一次全面扫描，融合了技术原理的严谨、商业策略的敏锐以及对未来社会影响的深层思考。

技术原理与架构演进：MoE与ARC的深层逻辑

GLM-4.5的发布，标志着智谱AI在通用大模型领域又迈出坚实一步，特别是在**Agentic（智能体）、Reasoning（推理）和Coding（编程）**这三大核心能力（统称为ARC）上，取得了显著突破，甚至在多项基准测试中达到了全球开源模型SOTA（State-of-the-Art）级别¹。这些能力的提升，并非简单的规模堆砌，而是基于深思熟虑的架构选择和精细化的训练流程。

模型架构层面，GLM-4.5系列采用了混合专家（MoE）架构，这在当下已成为大型模型提高计算效率和扩展性的主流选择。AMA中，团队成员杜政晓指出，相比稠密模型，MoE模型在更大规模上更具效率优势，这预示着万亿级参数模型很可能将更多地采纳MoE范式。具体创新包括引入无损平衡路由和sigmoid门控机制，旨在优化专家激活与负载均衡，避免“专家掉队”问题。此外，GLM-4.5借鉴了部分DeepSeek-V3架构，通过_缩小模型宽度、增加模型深度_来提升推理能力，并在自注意力模块中采用了分组查询注意力（GQA）和QK-Norm技术，以稳定注意力logits，增强模型在长序列和复杂任务上的表现。GQA的选择，据团队解释，是出于解码阶段计算效率的考量，避免了MLA在特定硬件上的性能瓶颈。

在训练流程上，智谱AI创新性地引入了**中期训练（Mid-training）**阶段，在传统的预训练和后训练之间，对模型在代码仓库理解、复杂推理、长上下文处理和智能体任务等关键场景进行了针对性强化。后训练阶段则融合了监督微调（SFT）和基于人类反馈的强化学习（RLHF），尤其针对推理和智能体任务设计了_分级课程学习和迭代自蒸馏技术_，大幅提升了模型在可验证领域的性能和泛化能力。曾奥涵提及GLM-4.5出色的防幻觉能力，也正是归功于其行之有效的RLHF流程，这强调了高质量反馈机制在模型可靠性构建中的核心地位。

模型的“大小之辩”与边缘智能的未来

AMA中关于“大参数模型与小模型”的讨论，触及了AI发展策略的深层哲学问题。一方面，团队成员曾奥涵明确指出，根据现有观察，规模更大的模型在智能体任务和知识储备上更具优势，前沿实验室的模型参数规模可能已达万亿级别。这呼应了过去几年大模型“越大越好”的Scaling Law。另一方面，团队也表示未来会推出_更小参数的稠密模型或小型MoE模型_，专注于边缘设备和特定领域。杜政晓也指出，稠密模型将聚焦在小规模和边缘设备场景。

这种“大小并存”的策略反映了产业对AI应用多样性的需求。大型MoE模型将是通用智能的“中枢大脑”，处理复杂、知识密集型任务，驱动Agentic AI和高级编程。而经过蒸馏或原生设计的小模型，则成为“边缘触角”，在资源受限设备上提供高效、低延迟的特定功能，比如在封闭领域进行工具调用。这与Daniel Saks提出的“去中心化的特定领域模型”的观点不谋而合，通用模型通过强化学习与测试时间的扩展，最终能进化为特定领域专家，而这些专才模型反过来又能提供更好的数据以改进通用模型，形成一个良性循环。从商业角度看，这种分层模型策略能最大化技术覆盖面，拓展市场空间。

数据工程：AI时代的“石油”与创新之源

AMA中，多位团队成员反复强调数据工程是模型性能提升的关键。曾奥涵指出，除了原始训练token总量，数据准备、过滤乃至合成方面存在的差异，对最终模型性能有着决定性影响。像谷歌这样拥有强大搜索引擎背景的厂商，能够访问远超公共归档的更多专有数据源和处理技术，这构成了闭源模型在能力上的一大护城河。对于后训练，尤其是复杂数学问题和真实代码的高质量标注，更是需要时间的积累。

"更细致的数据工程才是关键，包括更丰富的数据源、更强大的解析器和更好的分类器。" 曾奥涵如是说。

这表明，未来AI领域的竞争，除了算法和算力，高质量、多模态、精细化标注的数据集构建能力将成为核心壁垒。随着数据量的爆炸式增长，如何有效筛选、清洗、增强和合成数据，将成为决定模型“智能上限”的关键。对于开源社区而言，高质量开源数据集（如Nemotron-CC）固然重要，但能否在数据工程的“深水区”取得突破，将直接影响其能否追赶甚至超越闭源巨头。

开源生态的崛起与技术普惠的挑战

智谱AI自2022年发布GLM-130B以来，一直坚持开源路线。AMA中，杜政晓重申了开源权重让更多人以喜欢的方式使用模型的初衷。曾奥涵也对开放权重模型正在赶超前沿模型感到欣慰，并指出主要差距仍在算力资源和数据资源上。

这一观点深刻揭示了当前AI领域“开源”与“闭源”之争的本质。开源模型在算法创新和社区活跃度上展现出强大生命力，例如智谱在GLM-4.5训练中使用的“slime”框架便是中国开源创新的一个缩影。然而，在动辄需要数千甚至上万块GPU进行训练的前沿模型研发中，海量算力投入和获取独特、高质量数据的能力，仍是闭源巨头构建技术壁垒的关键。尽管如此，开源社区通过众智协作、快速迭代和技术共享，正在加速弥补这一差距，甚至有望在某些特定领域实现反超，推动AI技术的普惠化。

从PPT生成到Agentic AI：商业化与应用前瞻

GLM-4.5在实际应用层面也展现出强大的商业化潜力。AMA中提及的PPT生成器，虽目前仅支持PDF导出，但其背后结合搜索和HTML页面整理的工具化框架，以及模型自主决定何时使用工具的内部化能力，预示着AI在自动化内容创作和生产力工具领域的巨大想象空间。这种高度智能化的内容生成，远超传统模板或关键词填充，直指**“意图理解”到“复杂任务执行”**的智能体范式。

团队未来重点优先提升推理、编程和智能体能力的规划，也与当前AI应用的发展趋势高度契合。AI智能体（Agentic AI）被普遍认为是通往AGI（通用人工智能）的关键路径，它要求模型具备自主规划、记忆、使用工具、自我反思和多步骤决策的能力。GLM-4.5在编程和智能体基准测试中的优异表现，以及推荐Open Code + GLM-4.5作为开源CLI Agent组合，都强调了其在重塑软件开发流程、构建自动化工作流方面的潜力。此外，MTP（多Token预测）技术的应用及其在vLLM/SGLang等主流推理引擎中的集成努力，也彰显了智谱对提升模型推理速度和降低部署成本的商业敏锐度。

综合来看，智谱GLM-4.5团队的AMA，不仅是对模型技术细节的深度解析，更是对未来AI发展方向的一次前瞻性沙盘推演。它揭示了一个多元共生的AI生态：超大规模MoE模型作为通用智能的核心，负责复杂认知与Agentic任务；而轻量级稠密或小型MoE模型则深入边缘，满足特定场景下的高效需求。这场技术对话强调了数据工程作为驱动AI智能的底层燃料，以及开源社区在推动技术进步与普惠化中的不可或缺性。未来3-5年，随着模型能力的边界不断拓展，尤其是推理、编程和智能体能力的成熟，AI将更深层次地融入人类社会生产生活的方方面面，重塑商业模式，革新工作范式，最终推动人类文明进程走向一个由自主智能驱动的新纪元。

引用

• AI大模型
• 混合专家模型
• AI智能体
• 开源生态
• 数据工程