TL;DR:
国内首次大模型“体检”揭示,AI正面临大量超越传统网络安全范畴的新型漏洞,特别是提示注入和智能体特有风险。这要求技术、商业和治理层面迅速协同,以应对隐私泄露、系统滥用等挑战,确保加速发展的AI生态的安全性与可持续性。
近日,一场针对国内AI大模型的实网众测“体检”结果公布,其数据透露出人工智能领域正在经历一场深刻的安全范式转变。本次活动累计发现281个安全漏洞,其中高达177个是大模型特有的新型威胁1,占比超过六成。这不仅是对当前AI技术成熟度的一次警示,更是对未来AI产业健康发展提出的一系列深层哲学拷问和商业挑战。我们正站在一个新AI安全纪元的门槛上,旧有的安全思维已不足以应对其复杂性。
新型威胁范式:从传统漏洞到大模型特有风险
长久以来,我们习惯以传统软件安全的视角审视技术产品,然而大模型的核心机制——基于海量数据和复杂算法进行推理与生成——引入了截然不同的攻击面。报告指出,提示注入类漏洞已成为大模型最常见的风险之一。提示注入的本质,并非对代码或系统的直接破坏,而是通过精心构造的提示词来“劫持”模型的内部数据或文件,甚至绕过既定的安全指令1。这种攻击利用的是模型与用户交互的语言逻辑,而非传统意义上的缓冲区溢出或SQL注入。
一个典型的案例是,研究人员曾通过字谜游戏诱导ChatGPT泄露Windows产品密钥2。更具破坏性的是“间接提示注入”,例如Cursor IDE中的模型上下文协议(MCP)漏洞(CVE-2025-54135),攻击者可以在公共文档中植入恶意指令,当AI代理读取并执行时,即可在本地设备上实现远程代码执行(RCE)2。这种攻击模糊了数据、指令与用户意图的边界,将信任作为新的攻击向量。
此外,用户行为的“无边界信任”也加剧了风险。许多人将大模型视为“全能顾问”,毫无顾忌地询问健康、情感、财务等高度私密的问题,且缺乏定期清理聊天记录的习惯1。一旦模型或服务器被攻破,这些敏感数据便会成为泄露的“重灾区”。ChatGPT曾因分享链接被公开索引,导致数千条包含个人身份信息、商业机密的私密对话暴露无遗2,这深刻揭示了用户数据安全管理在大模型时代面临的巨大挑战。即使是本地化部署,也并非安全堡垒。奇安信董事长齐向东就曾指出,近九成本地部署的DeepSeek服务器处于“裸奔”状态1,这表明物理隔离的表象下,核心技术栈的安全防御能力依然是决定性的。
AI智能体:自主性带来的深层安全挑战
随着人工智能从“Chat”向“Agent”的范式跃迁,智能体的崛起正将AI安全推向一个更复杂的维度。智能体不仅继承了大语言模型的固有风险,如越狱攻击、对抗样本攻击和数据投毒,更因其具备多模态感知、自主规划与执行的能力,衍生出一系列系统性、场景耦合性的独特风险1。
《AI智能体安全治理》白皮书深入剖析了这些新兴挑战:
- 感知出错:智能体依赖传感器“看世界”,恶意干扰可能导致其对现实产生误判,从而做出危险决策。
- 决策失误:智能体的自主决策能力,一旦推理链条出现错误,将可能在自动驾驶、金融、医疗等关键领域造成灾难性后果,错误效应被几何级放大。
- 记忆被污染:智能体通过交互学习并“记住”信息,如果其记忆被恶意数据“投毒”,可能导致智能体重复调用错误或恶意信息,甚至越权操作或泄露隐私。
- 工具被滥用:智能体常通过插件和外部系统拓展能力,若缺乏严格的安全控制,这些接口便可能沦为黑客发动攻击的入口1。
智能体不再是被动响应的工具,而是具备某种程度“意志”和“行动力”的实体。这种自主性,在带来巨大生产力解放的同时,也构成了前所未有的安全挑战:攻击不再仅仅针对数据或系统,更可能针对智能体的“认知”和“意图”,从而操控其在真实世界中的行为。这要求我们重新思考“安全边界”的定义。
商业敏锐与安全投资:生态韧性的关键
在AI技术狂飙突进的商业版图中,安全不再是事后补救的成本中心,而是构建竞争壁垒和赢得市场信任的关键投资。此次众测显示,国内主流大模型如腾讯混元、百度文心一言、阿里巴巴通义和智谱清言等,被发现的漏洞风险较少,体现了较高的安全防护水平1。这并非偶然,而是巨头在技术研发投入之外,对安全基础设施和流程建设的战略性重视。
对于初创企业和开源模型而言,DeepSeek遭受有组织网络攻击,以及国内基础大模型在安全扫描中最高得分仅为77分、部分低于60分的现状1,均敲响了警钟。一个不安全的AI产品,即便功能再强大,也难以赢得企业级客户的深度信任,更无法承载关键业务。未来,AI安全能力将成为技术产品进入主流市场的“准入证”,而非锦上添花。
AI安全市场也将随之迎来爆发式增长。网络安全公司将不再仅仅关注传统边界防御,而是向模型安全、数据流安全、智能体行为安全等新兴领域拓展。投资方在评估AI项目时,其安全成熟度和应对风险的能力将成为核心考量因素,而非仅仅关注模型性能或用户增长。一个能够提供“全栈式”AI安全解决方案的公司,将在即将到来的AI安全服务市场中占据先机。
伦理边界与治理困境:技术与社会的协同进化
大模型和智能体带来的安全挑战,并非纯粹的技术问题,更是关乎伦理、社会治理乃至人类文明进程的深层议题。隐私泄露、虚假信息泛滥、潜在的偏见放大,都可能侵蚀社会信任的基石。当AI智能体能够在物理世界自主行动时,其行为的边界、责任的归属,都将成为亟待解决的哲学和法律难题。
可喜的是,各国政府和行业组织已在积极探索解决方案。中国已发布10项国标,立项48项技术文件,并发布了《AI智能体安全治理》白皮书,这体现了对前沿风险的快速响应1。然而,技术迭代的速度往往超越了监管和标准化的制定步伐。未来的治理模式,必须是技术自律、行业协同与政府监管三方动态平衡的“协同进化”过程。
我们需要建立一套透明、可解释、可审计的AI安全评估体系,鼓励“安全默认”的设计理念,并培养用户具备更强的AI安全意识。最终,确保AI技术在为人类社会创造巨大福祉的同时,其发展路径是可控、安全且符合人类长远利益的。正如文章所问:“我的数据,真的安全吗?”在尽情探索AI的无限可能之前,我们必须优先回答这个问题,并以最严谨的态度构建一个负责任的AI未来。