Microsoft 零信任研讨会 - AI 安全性

AI 放大了现有的安全风险,并引入了标识、数据、应用程序、基础结构、模型、代理、工具、内存和用户交互的新风险。 应用零信任原则有助于组织显式验证访问权限、最大程度地减少特权和数据泄露,并假定 AI 系统及其依赖项可能会被滥用或泄露。

AI 安全研讨会支柱可帮助组织发现和管理 AI 使用情况、保护用户和代理标识、保护提示、设置数据和输出、控制网络和工具访问、安全构建和操作代理、验证 AI 质量和安全,并将 AI 特定信号集成到安全操作中。 研讨会将这些功能转变为优先实施路线图。

AI 安全研讨会支柱对应于Microsoft 安全采用框架(SAF)中定义的 AI 技术。

为什么专注于 AI 安全性?

AI 系统可以代表用户操作、访问大量的组织数据、调用工具和 API、保留内存并大规模生成内容。 所有权不足、权限过多、数据过度共享、未批准的应用程序、不安全的代理开发、提示注入、不安全的工具使用或监视不足可以扩展现有攻击路径并创建新的攻击路径。 因此,AI 安全性需要跨标识、数据、网络、基础结构、应用程序、DevSecOps、合规性和安全操作的协调控制。

预期输出是基于风险、依赖项、实施工作、用户影响、许可、法规要求和准备情况确定的 AI 安全项目的可操作积压工作。

AI 安全实现领域

区域 详细信息
建立 AI 安全治理和责任 定义 AI 安全原则、可接受使用政策、风险责任归属、特权管理角色、审批和异常流程、法规和合规性映射、文档要求以及跨业务、技术、安全、隐私、法律和合规性利益干系人可衡量的结果。
发现和评估 AI 应用程序、代理、模型和工作负载 跨Microsoft和外部平台创建合并清单,包括生成 AI 应用程序、代理、模型、终结点、工作负荷标识以及本地或影子 AI。 对关键性和风险进行分类、分配所有者、评审结果、委托修正和维护持续监视。
在整个生命周期中注册和管理 AI 代理 使用代理 365 注册表或适当的替代方案来注册、分类、组织、发布、认证、激活、更新、暂停和停用代理。 分配发起人和所有者,建立治理模板和集合,同步支持的外部注册表,并大规模自动执行注册表管理。
保护用户、代理身份和特权管理 需要受支持的用户身份验证、使用专用代理标识而不是共享凭据,并应用最低特权、条件访问、基于风险的控制、自定义安全属性、标识治理、访问包、生命周期工作流和Privileged Identity Management给用户、代理、工作负荷标识和管理员。
管理代理对资源、工具和其他代理的访问权限 定义已批准的资源、连接器、插件、操作、MCP 服务器以及已连接代理场景。 根据代理的用途和风险界定权限范围,对高影响能力要求审批,在适当情况下应用 Copilot Studio 数据策略,并随着代理及其依赖项的变化审查访问权限。
保护网络路径和 AI 网关 通过标识感知网络控制(例如 Global Secure Access 以及安全 AI 或 API 网关)将受支持的 AI 和代理流量路由。 对自定义 LLM 终结点和 MCP 服务器应用筛选、分段、速率限制、令牌控制、出口限制、提示检查和保护。
保护提示、基础数据、输出和代理内存 使用适用于 AI 的数据安全状况管理、敏感度标签、数据丢失防护、审核、收集策略、内部风险控制、保留和通信合规性等Microsoft Purview功能。 减少过度共享、保护 grounding 源和嵌入式内容、控制输出标签继承,并定义代理内存的隔离、溯源、保留、删除和可观测性要求。
管理 AI 应用程序发现和批准的使用 使用Microsoft Defender for Cloud Apps、终结点控制和组织策略发现生成式 AI 应用程序和本地代理、对批准的和未经批准的服务进行分类、管理访问以及阻止或限制高风险应用程序,同时保留已批准的业务方案。
安全地构建和发布 AI 代理 建立标识、授权、数据处理、内容安全、日志记录、内存、依赖项、部署和环境隔离的安全开发要求。 要求实施发布和认证控制、审查连接器和工具风险,并使代理开发与 DevSecOps 和软件供应链实践保持一致。
验证 AI 安全、安保和质量 使用内容安全控制、Prompt Shields、对抗和红队测试、事实依据评估、运行时事实依据检测、数据质量规则、滥用测试和定义的发布阈值。 在模型、提示、工具、数据、内存或配置发生重大变更后重新测试。
保护 AI 基础结构、模型和运行时环境 发现具有云安全态势功能的 AI 工作负载和模型、应用Azure Policy或等效的治理、隔离敏感基础结构、保护 AI 服务和代理运行时、保护 API 和模型终结点,以及监视暴露、漏洞、配置和运行时威胁。
记录和监视 AI 活动 为支持的 AI 应用程序、代理、标识、服务、提示、响应、工具使用、内存操作、模型终结点和治理操作启用审核和诊断日志记录。 定义 AI 遥测的保留、隐私、数据最小化、运行状况监视和访问控制。
检测和响应特定于 AI 的威胁 将 AI 数据源连接到Microsoft Sentinel、Microsoft Defender XDR或其他 SIEM/XDR 平台。 实现针对提示注入、异常代理行为、有风险的 AI 使用、数据泄露、标识泄露、不安全工具和运行时攻击的检测,并使用仪表板、搜寻查询、playbook 和自动响应以及适当的安全措施。
持续改善 AI 安全态势 为 AI 清单、风险发现、DLP 和内部风险警报、代理权限、发布控件、事件趋势、模型和代理评估、法规证据和修正进度建立定期评审。 随着 AI 功能、威胁和业务使用的发展,更新策略和控制。

这些领域概括了 AI 安全研讨会这一支柱的内容。 使用 AI 项目详细指南来审查单个项目、依赖项、许可相关注意事项和实施指南。

如何使用 AI 工作坊

与 AI 平台和应用团队、智能体开发人员,以及负责身份、数据保护、网络、基础设施、DevSecOps、安全运营、隐私、法务、合规和业务的相关方一起使用基于 Web 的 Workshop。 针对每个相关项目:

  • 查看你的环境的项目目标和适用性。

  • 记录当前状态、备注、决策、所有者和已知依赖项。

  • 考虑许可、实施工作、用户影响、数据和法规要求、技术先决条件、覆盖范围和跨支柱依赖项。

  • 将项目确定为“优先”、“随后”或“下一步”,并将其合并到实施路线图中。

打开零信任研讨会并选择 AI 支柱。

查看详细的 AI 项目指南 ,了解项目级信息。

评估 AI 安全状况

Microsoft 零信任评估通过根据安全最佳实践评估支持的 AI 安全配置和实践来补充研讨会。 在验证当前状态并优先考虑 AI 安全项目时,将其结果用作其他输入。 评估结果不会取代在研讨会中完成的跨职能清单、风险、体系结构、开发、数据和运营评审。

了解零信任评估。

谁应该参与?

  • AI 平台所有者、AI 应用程序团队、智能体开发者、数据科学家、机器学习工程师、应用程序架构师和软件工程团队。

  • 身份、数据管理、数据保护、网络、基础结构、云平台、终结点管理和 DevSecOps 团队。

  • 安全体系结构、应用程序安全、云安全、安全操作、事件响应、暴露管理和威胁情报团队。

  • 隐私、法律、合规性、负责任的 AI、治理、风险、采购、业务所有者、数据所有者和应用程序所有者。

后续步骤

运行评估,并开始 AI 研讨会。