大模型“可信危机”与DKCF框架:重塑AI在复杂业务场景中的安全基石

温故智新AIGC实验室

TL;DR:

大模型在复杂业务场景中展现出的“讨好型人格”和残差分析能力缺失,正导致其在安全运营、医疗等高风险领域面临深重“可信危机”。蚂蚁集团提出的DKCF(数据、知识、协同、反馈)框架,通过构建可信推理范式、强化专业知识工程和反馈核验机制,为弥合大模型理想与现实之间的鸿沟,实现AIGC在高价值应用场景中的安全、可靠落地,指明了方向。

AIGC(人工智能生成内容)技术的爆发性增长,正以惊人的速度渗透至各行各业,从内容创作到决策辅助,无不彰显其颠覆性潜力。然而,在激动人心的表象之下,一个日益突出的问题浮出水面:大模型在复杂、高风险业务场景中的“可信危机”。尤其是在网络安全和医疗健康等领域,简单的“能用”远不足以支撑其“可用”乃至“可信”的落地,这正如行业内部流传的警示:“上线两周,落地两年”——其快速上线与实际场景中实现可靠应用之间的鸿沟,远超想象。1

大模型“讨好型人格”的深层隐忧与可信危机

当前大模型在产业应用中面临的挑战,核心在于其固有缺陷与专业领域对严谨性、准确性的极致要求之间的矛盾。最显著的痛点是其“推理核验与残差分析”能力的匮乏1。通用大模型往往表现出一种“讨好型人格”,即无论输入信息是否充分、准确,它都倾向于提供一个“貌似合理”的答案,而不会主动识别信息不足或自身知识边界。

以安全运营为例,当大模型被询问一个进程访问代码库是否异常时,若缺乏上下文,它可能会给出“正常”的结论。然而,一旦补充“数据库研发人员使用会议软件,通过公共Key访问转账应用代码库”等关键定语,其访问行为的异常性便一目了然1。这种对上下文和多维度信息的“盲区”判断,在高风险场景下可能导致灾难性后果。同样,在医疗诊断领域,一项研究发现,当AI模型本身存在数据偏差(如年龄、BMI、预处理偏倚),且不提供解释时,医生在AI辅助下的诊断准确率反而可能下降11%,即便提供解释也会下降8%。这表明医生在面对AI时,可能会过度信任甚至盲从其错误判断,正如报告所言:“聪明的AI会帮你一个小忙,愚蠢的AI可以闯出大祸。”1

从哲学思辨的角度看,这种现象揭示了大模型在通向真正AGI(通用人工智能)道路上的一个根本性挑战:如何从“表演型智能”进化为“理性批判型智能”。当前的AI缺乏人类认知中的元认知能力——即对自身知识和能力的审视,不理解“我不知道”或“我的信息不足以给出准确判断”的边界,这是专业领域可信落地的最大障碍。

DKCF框架:构建AIGC可信落地基石

针对大模型在产业应用中的四大挑战:推理核验与残差分析、专业知识工程、反馈循环效率以及万用能力及信息汇聚单点,蚂蚁集团提出了DKCF(Data/Knowledge/Collaboration/Feedback)安全框架,旨在为大模型的可信落地提供系统性解法1

  • D (Data) - 数据: 强调高质量、场景化数据的获取与使用。通过安全平行切面技术,实现在底层数据采集和干预,获取程序、终端、流量等多维度原始数据。同时,对结果数据进行有效管理,确保推理输入的完备性和准确性。
  • K (Knowledge) - 知识: 聚焦专业知识工程。不仅要构建通用知识,更要深耕垂直领域的专业知识图谱,并确保这些知识是可计算、可查询、可验证的。例如,在安全领域,需要将IP、域名、设备号等风险主体及其关联关系构建成知识图谱,以支撑多度关联分析1
  • C (Collaboration) - 协同: 构建智能体协同生态。这包括不同智能体之间的协作、智能体与工具的集成,以及不同模型之间的协同工作。通过这种协同,将复杂任务分解并交由专业工具或小模型处理,提高整体解决效率。
  • F (Feedback) - 反馈: 核心在于可信推理与核验机制。DKCF强调“残差分析”,即当大模型发现自身知识或数据不足时,能主动识别并转交人工处理,避免给出错误结论。同时,引入“核验机制”,对大模型CoT(思维链)推理过程中的关键步骤进行验证,防止其“跑偏”1。这类似于人类在复杂问题解决中的分步验证和质疑精神。

此外,该框架还针对大模型作为“万用能力及信息汇聚单点”所带来的自身安全风险,提出了OVTP(Object-Subject-Verify-Transaction-Permission)和NBSP(Native-By-Subject-Policy)等原生安全范式,强调每一次主体对客体的访问,都需进行严格的权限校验和溯源,从根本上保障大模型自身的安全性1。这标志着安全防护从传统系统向大模型平台中心的范式转变。

商业价值与产业生态重塑:从被动响应到主动前瞻

DKCF框架的落地,不仅解决了技术层面的挑战,更带来了显著的商业价值和产业生态重塑。在安全运营实践中,面对每秒数亿条原始日志和海量告警的“告警疲劳”问题,DKCF通过将大模型与知识图谱、核验机制结合,能够模拟人类排查过程,将每条报警的处理延时从几十分钟缩短到几分钟1。这意味着:

  • 运营效率的量级提升: 大幅减少人工介入,使安全团队能从繁琐的告警处理中解放出来,专注于更高级的威胁分析和策略制定。
  • 风险响应的实时化: 快速的研判能力有助于在攻击初期即时响应,降低潜在损失。
  • 投资逻辑的转向: 对于企业而言,对可信AI框架的投入,是从过去“头痛医头脚痛医脚”的被动防御,转向构建具备自我核验、自我学习能力的前瞻性安全智能体的战略性投资。这体现了资本对AI应用深层可靠性的需求。

展望未来,这种具备可信推理能力的AIGC将在企业级应用中扮演更核心的角色。它将不再仅仅是提供信息或生成内容的工具,而是作为智能决策辅助系统,深度嵌入业务流程,实现从数据洞察到智能干预的闭环,最终推动企业数字化转型进入更高级的“智能化”阶段。

社会影响与AI治理的伦理考量

大模型可信化的长征,不仅关乎技术与商业,更触及深刻的社会影响和伦理挑战。大模型固有的“幻觉”、数据偏见、隐私泄露和深黑盒导致的不可解释性,是其广泛应用必须面对的伦理难题2。医疗案例已清晰展示,一个有偏见且不透明的AI可能损害人类福祉,而非提升之。

正是基于这些考量,全球范围内对AI安全治理的呼声日益高涨,相关标准和法规正加速出台。从中国全国网络安全标准化技术委员会发布的《生成式人工智能服务安全基本要求》到欧盟的《人工智能法案》2,再到OWASP“大语言模型应用程序十大风险 2025”2,以及蚂蚁集团牵头制定的《大语言模型安全测试方法》国际标准2,无不反映出社会各界对AI可控、可信、负责任发展的共同愿景。

未来,AI与人类的协作模式将进一步深化。可解释性和透明度将成为AI系统的核心竞争力,而非可选特性。只有当AI能够清晰地阐述其思考过程,人类专业人员才能更好地进行“亡羊补牢”式的核验和决策,确保最终结果的可靠性。这要求我们在技术发展的同时,同步构建健全的伦理框架、监管机制和教育体系,培养具备批判性思维的“AI伙伴”,而非盲目服从的“AI工具”。

展望:AI可信化的长征

蚂蚁集团DKCF框架的提出与实践,是AI产业从“追求规模和性能”向“追求可信和可靠”转变的一个缩影。它预示着未来3-5年,企业级AI部署将把可信赖性置于与功能性同等重要的地位。这种范式不仅限于安全领域,对医疗、金融、法律等所有高风险、高价值的垂直行业,都具备普遍的借鉴意义。

大模型的未来,绝不仅仅是更高的参数量或更强的生成能力,而在于其能否在真实世界的复杂环境中,以人类可以理解、信任和控制的方式,稳定、可靠地发挥作用。AI可信化是一场漫长而深刻的长征,需要技术创新、商业实践、伦理反思与社会治理的协同推进。只有穿越“可信危机”的深水区,AI才能真正成为推动人类文明进步的坚实基石。

引用


  1. 刘焱. 复杂业务场景下AIGC赋能安全运营的实践 · InfoQ(2025/3/24)· 检索日期2024/5/28 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. 蚂蚁集团:构筑完善的安全治理体系,推进模型能力快速提升 · DoIT.com.cn(2025/1/12)· 检索日期2024/5/28 ↩︎ ↩︎ ↩︎ ↩︎