某企业上线了一个能自主调用财务系统API的智能体(AI Agent),用于自动生成月度报表。某天,这个Agent触发了一次异常的数据导出操作。安全团队介入排查时发现,系统日志里只记录了一条“系统账号已执行导出”,却查不到是哪个Agent发起的操作、谁授权了这次操作、调用了哪个具体接口。整个追责链条,在“谁做的”这一步就断掉了。
这类问题正在越来越多企业的AI应用中出现。过去几年,企业对AI风险的关注还主要停留在模型会不会说错话、输出会不会带偏见等“内容风险”层面。但当越来越多的Agent开始自主决策、调用工具、发起请求,风险的性质已经从“说了什么”扩展到“做了什么”。这种“行为风险”的治理难度,远比内容审核复杂得多。
也正是在这个背景下,NIST发布的《人工智能风险管理框架》(AI RMF)以其系统性、前瞻性和权威性,成为了全球企业和监管机构参照最广泛的AI安全框架之一。今天,我们就从这份框架出发,聊一聊企业如何快速构建AI安全与治理体系。
AI安全“金标准”:NIST AI安全体系简介
NIST(美国国家标准与技术研究院)是隶属于美国商务部的标准研究机构,在网络安全领域深耕数十年,其发布的大量技术标准与框架是全球网络安全产业重要的参照基准之一,被广泛应用于企业风险管理实践。
在讲NIST AI RMF之前,有必要先回答一个问题。为什么AI风险需要一套专门的框架,而不是沿用传统的安全框架?
NIST在AI RMF的技术文件中专门讨论了这个问题,指出AI系统的风险和传统软件相比,有几个结构性的差异,其中两点尤其值得关注。
一是AI系统的规模和复杂度决定了风险发生的速度可能超出人工核查的响应能力。一个AI模型可能牵涉数以亿计的参数与决策节点,依靠人工巡检难以及时发现安全风险。
二是训练数据会随时间漂移,预训练模型和第三方组件也会带来不可预测性。企业用的很多AI能力并非自己从零构建,而是建立在别人训练好的模型和组件之上,这些“黑箱”部分的风险边界,往往是企业的安全盲区。
正因为这些特性,企业需要一套专门梳理“AI风险该怎么管”的方法论,而不是简单套用过去的安全管理流程。
围绕这个需求,NIST陆续发布了一系列相关文件,逐步形成了一套体系。
AI RMF 1.0(NIST AI 100-1):2023年1月发布,是整套体系的核心框架,提出了GOVERN、MAP、MEASURE、MANAGE四大功能,用于指导组织识别、评估和管理AI风险。
AI RMF Playbook:作为AI RMF的配套操作手册,为框架中的各项功能提供了可参考的具体行动建议,帮助组织将抽象的框架要求转化为可执行的动作。
NIST AI 600-1(生成式AI风险管理框架):2024年7月发布,是AI RMF面向生成式AI场景的专项补充,进一步细化了生成式AI特有的风险类型和应对建议。
NIST SP 1270(AI偏见识别与管理标准):面向 AI 偏见识别与管理的技术指南。
在这套体系里,AI RMF 1.0处在核心枢纽的位置,它给出的是一套通用的、可以适配不同行业和场景的风险管理方法,而其他文件则是在具体方向上做补充和细化。
解读AI RMF:企业如何构建AI安全体系?
AI RMF的核心内容,是围绕AI系统构建了一套可信度评价标准,再落到四个功能模块的具体动作上。
原文提出,一个值得信任的AI系统应该同时具备七项特征:有效且可靠(Valid and Reliable)、安全无害(Safe)、稳健且具韧性(Secure and Resilient)、可问责且透明(Accountable and Transparent)、可解释且可理解(Explainable and Interpretable)、隐私增强(Privacy-Enhanced)、公平且有害偏见得到控制(Fair – with Harmful Bias Managed)。
原文有一句话讲得很直接,信任度的强度取决于最薄弱的那项特征。换句话说,七项之中哪怕只有一项无法实现,AI系统整体的可信度评价就会被拉低。也正因如此,AI RMF要求企业从治理、识别、评估、处置四个维度同时发力,而不是聚焦单点治理。
具体来看,四大功能各自要求企业做的事情如下。
1.GOVERN(治理基座)
GOVERN是贯穿全流程的治理文化和结构,是其他三个功能能否发挥作用的前提。框架建议企业建立AI系统清单,并规划系统退役时的安全流程(GV-1.6、GV-1.7);明确谁对AI风险决策负责,把角色职责和沟通路径文档化、让全员知晓(GV-2);针对第三方AI技术和数据,建立相应的风险政策和应急处理机制(GV-6)。
2.MAP(识别风险)
MAP要搞清楚AI系统在什么场景下用、给谁用、可能有什么影响。框架建议企业明确系统的用途、使用者范围、组织自身的风险容忍度(MAP-1);对包括第三方软件、数据在内的全部系统组件进行风险梳理(MAP-4);识别AI系统可能给个人、群体、组织带来的具体影响(MAP-5)。
3.MEASURE(评估验证)
MEASURE要用可重复的方法去测试和监测风险,而不是凭感觉判断。框架建议企业从风险最高的项目开始测试,并引入不参与系统开发的独立评估人员,而不是只靠开发团队自己验收(ME-1);针对前面提到的七项可信特征逐项测试,系统上线后持续监测其运行表现(ME-2);建立面向用户的问题反馈和申诉渠道(ME-3)。
4.MANAGE(响应处置)
MANAGE要基于前面识别和评估的结果,把风险排出优先级,并规划应对方案。框架建议企业按影响程度和发生可能性对风险排序,制定缓解、转移、规避或接受等具体响应方案,并记录处理不掉的残余风险(MG-1);对第三方资源和预训练模型进行持续监控(MG-3);制定系统上线后的监控计划,涵盖事件响应、恢复、变更管理,以及事件发生后的沟通追踪流程(MG-4)。
四大功能加在一起,覆盖了GOVERN的6大类别、MAP的5大类别、MEASURE的4大类别、MANAGE的4大类别,往下还细分出数十条具体的子类别要求。可以说,这套框架在“该管什么”这件事上,已经想得相当全面。
原文还特别强调,这四个功能不是走一遍就结束的线性流程,而是应该迭代进行、相互交叉引用。多数企业在建立好治理结构(GOVERN)之后,会先进入MAP识别风险,再根据实际情况反复回到MEASURE或MANAGE。
落地AI RMF,“身份”与“通道”先行
NIST AI RMF是当前全球AI安全与治理的主流标准之一,四大功能覆盖了从治理到处置的完整闭环,功能全面、体系完备。但是,企业如果想把AI RMF中的数十项类别、子类别逐条落地,却面临巨大的挑战。对于大多数企业来说,资源、时间、人力都是有限的,难以一次性实现从GOVERN到MANAGE的所有要求。
既然无法面面俱到,企业该从哪里入手?从技术落地的视角看,这套框架能否真正运转,很大程度上取决于两个底层问题能否先被回答。
第一,GOVERN提出的问责要求(GV-2)要真正落地,前提是先能回答“这一次AI行为,是谁做的”。
第二,MANAGE提出的处置响应要求(MG-4)要真正执行,前提是先能回答“这一次AI行为,经过了什么路径”。
这两个问题看似基础,但如果无法解决,其他要求如风险映射、测试评估、持续监控,都难以运转。以风险映射为例,它回答的是“风险可能出现在哪里”,而企业安全团队处置一次异常输出时,需要知道的是“这一次风险究竟由谁触发、沿哪条路径发生”。如果连行为本身都无法还原,映射出的风险点就始终停留在纸面,既对应不到具体的责任主体,也转化不成可执行的处置动作。
在传统的IT系统里,这两个问题其实并不难回答。“谁做的”由身份体系兜底,员工登录有账号、权限有审批、操作能定位到人。“走了什么路径”由通道体系兜底,访问经过统一的网关与审计,每一次调用来路可查、去路可追。
然而,当越来越多的Agent开始自主决策、调用工具、访问系统,这两道原本清晰的防线同时出现了盲区。在身份一侧,一个Agent用谁的权限调用了哪个API,出了问题该由谁负责?在通道一侧,它的请求经过了哪些环节,最终触达了哪个系统?传统的身份与访问管理体系对此并没有现成答案,因为Agent不是人,也不完全是传统意义上的机器账号。
所以,与其追求四大功能的一次性全面覆盖,企业更现实的路径是先把“身份”和“通道”两个基础打牢,让每一次AI行为都能追溯到具体的发起者和执行路径,为后续所有功能的落地提供可执行的技术支撑。
落地方案:芯盾时代的“身份”与“通道”双引擎
上文提到的两个问题,终究要靠具体的技术能力来回答。芯盾时代作为领先的业务安全产品方案提供商,依托对AI安全的前瞻性布局,将零信任理念应用于AI领域,打造了IAM AI Agent身份与访问管理方案和智域·AI安全治理平台,分别回应“谁做的”和“走了什么路径”这两个底层问题,帮助企业夯实AI安全基座,快速搭建AI安全与治理框架。
1.身份层:给每一个AI访问的发起者,建立可追溯的身份
针对Agent的权限管理,芯盾时代对身份与访问管理平台(IAM)进行了全面升级,推出了IAM AI Agent身份与访问管理方案,助力企业建立涵盖全生命周期身份管理、细粒度权限管控、标准化认证鉴权、全链路操作审计的管理体系。
借助方案,企业能够一站式实现以下功能。
Agent身份管理:解决“它是谁”。方案将Agent作为“类人身份”纳入IAM统一管理范畴,为其分配唯一不可更改的ID,并建立覆盖身份创建、凭证颁发、角色分配、部署监控直至停用删除的完整机制。只有先给Agent一个确定的身份,GV-2要求的问责才有明确的指向对象。
最小化权限:解决“它能做什么”。方案引入上下文感知的动态授权引擎,将Agent与MCP应用的交互纳入统一管控。针对传统RBAC模型无法适配Agent动态需求的治理困境,系统改变了常驻权限的授予方式,直接根据当前任务授予所需的最小权限,权限随任务激活并随任务回收,以此大幅降低权限滥用风险。
三级鉴权体系:让每一次调用真实可信。方案将认证鉴权体系从用户层延伸至Agent层,构建“Agent认证→用户委托→资源访问”的三级鉴权链路,基于OAuth 2.0等国际标准协议,为Agent生成仅在当前任务窗口内有效的短期凭证。通过短期动态凭证取代长期密钥,大幅降低凭据被截获复用的风险,确保AI的每一次API调用都真实可信。
Agent操作审计:解决“它做了什么”。方案支持按Agent ID、委托用户、操作对象、时间等维度精准检索,记录管理行为、认证授权行为的全流程日志,这正是回应GOVERN问责要求和MANAGE追溯要求的关键一环。
至此,“谁做的”有了完整的答案。Agent有了身份,权限有了边界,操作有了记录,GV-2要求的问责就不再停留在制度文件上。接下来是第二个问题,这一次AI行为,经过了什么路径。
通道层:让AI流量的每一次访问,都被看得见、管得住
要回答路径问题,前提是让分散的AI流量先汇聚起来,再谈得上监测和管控。针对企业的大模型安全与治理难题,芯盾时代推出了智域·AI安全治理平台,帮助企业在AI访问的通道层建立统一的管控能力,实现以下功能。
大模型API统一接入:让路径汇聚到一处。平台兼容主流协议,支持云端大模型和企业自建模型的统一纳管,避免各部门重复接入、各自为战。只有AI流量有了统一入口,“经过了什么路径”才可能被完整看清。
全流程审计追踪:让路径可还原。平台对用户、应用、模型及Token用量进行全链路记录,让每一次AI交互都有据可查、可还原,直接支撑MG-4对事件响应与追踪的要求。
风险拦截:在路径上设卡。平台通过实时语义检测,对输入输出内容进行动态防护,识别提示词注入、敏感信息泄露等AI原生安全风险,在风险发生时及时拦截,让通道不只是可见,而且可控。
合规报告:让路径可交代。平台将分散的交互行为日志和风险拦截记录自动聚合,生成可复核、可导出的报表,减少人工汇总分析的工作量,为GOVERN的问责留痕和MANAGE的事件沟通追踪提供直接材料。
此外,平台还提供多租户配额管理和语义缓存等成本优化能力,帮助企业把AI支出逐步变得可预测、可归因。
AI RMF描绘的是一套完整的风险治理蓝图,但对企业而言,读懂框架只是第一步,真正的挑战在于找到能优先投入、快速见效的切入点。身份和通道,是这条路径上相对基础、也相对容易落地的两块拼图。芯盾时代基于零信任理念,助力企业构建AI安全基础设施,帮助企业在复杂的“人机协同”环境中,打造动态、自适应的防御体系,让企业AI落地无忧。
全部0条评论
快来发表一下你的评论吧 !