新闻资讯

360首席科学家潘剑锋提出智能体安全新范式:驾驭AI不确定性 从输入到执行构建三层防护体系

科仔播报 2026-06-26 17:32:59
热点播报

在近日举行的ISC.AI 2026大会上,360集团首席科学家潘剑锋指出,AI在漏洞挖掘等安全领域的应用已取得显著进展,并对传统安全人员构成挑战。他认为,这标志着整个安全行业需要加速升级,而智能体时代安全的核心在于应对和驾驭AI的不确定性。

潘剑锋分析,传统安全挑战源于计算逻辑的根本性变化。传统软件基于确定性计算,而大模型的出现引入了不确定性,使其能够处理真实世界的模糊任务,但也成为新型安全风险的根源。智能体可能对相同任务产生不同理解与行动,其不确定性风险分为外部和内部两方面。外部风险指攻击者将恶意意图隐藏于输入、提示等内容中,诱导模型;内部风险则源于模型自身的幻觉及在连续推理中可能被放大的判断错误。

为此,潘剑锋提出了智能体安全治理的新思路,即从“防御确定威胁”转向“管控不确定性”,并构建三层防护体系。在输入层,通过恶意意图识别引擎,利用360独有的多类数据资源识别并阻止攻击,实测可提升开源大模型安全性10%至30%。在推理层,通过自研的世界认知模型为AI推理提供“认知锚点”,抑制幻觉。在执行层,利用环境孪生沙箱监控和限制智能体的行动,确保错误不会演变为安全事故。

潘剑锋展望,智能体安全未来将成为智能体的标配基础设施,市场格局可能类似手机行业,由几家主要厂商主导,同时存在大量专业化细分空间。他强调,AI的发展正在重塑安全行业门槛,但安全本身仍是高度垂直的专业领域,AI厂商不会直接取代安全公司。

打开APP,阅读体验更佳
前往太平洋知科技APP查看原文,阅读体验更佳
继续评论
前往APP
制作海报

网友评论

写评论
APP内评论,得金币,兑好礼

相关推荐