AI 安全状况是总体安全策略的重要组成部分。 AI 优先处理网络安全策略的特定元素，例如数据保护。 本文可帮助你制定安全 AI 的策略和优先级。 此集合中的后续文章可帮助你确定网络安全的特定元素，以在采用 AI 配套、工具和新应用时确定优先级。
安全态势定义为组织的整体网络安全防御能力，以及面对持续网络安全威胁的准备程度和运营状态。 这种状况应可量化和可衡量，这与与组织运营状态或福祉相关的任何其他主要指标类似。
为 AI 构建强大的安全态势需要在组织内部与各级领导合作，特别是与整个组织的领导层共同制订一项具体策略，以及明确具体的优先级和目标。 然后，确定实现目标所需的技术工作，并带领各种团队完成这些工作。 此库中的文章提供了一种特定于 AI 的指导方法论：
- 为您的环境做好基础安全保护准备。 你可能已经有了很多这样的防护措施。
- 发现 组织中正在使用的 AI 应用，包括应用正在使用的数据类型。
- 保护 组织中 AI 工具的使用。 这涉及到 AI 特定的数据保护功能，并确保组织实现了强大的威胁防护。
- 治理 AI 以确保合规性。
将此库与 Microsoft Learn 上的以下框架一起使用：
在图中：
- 使用此库（AI 安全库）了解如何实现保护环境中的 AI 应用和数据的功能。 这些保护有助于构建零信任基础。
- 使用 零信任采用框架 继续朝着端到端安全性取得进展。 每个零信任业务方案也会提高 AI 应用和数据的安全性。
- 使用 适用于 AI 的云采用框架 开发端到端 AI 采用路线图，包括生成型和非生成 AI。 此库包括用于选择 AI 技术、保护和管理 AI 的过程以及 AI 设计和实现的资源的策略。
了解业务领导者的动机
强大的 AI 安全态势可实现创新， 它使组织能够自信和敏捷地构建和部署 AI。 目标是使组织能够自信地构建、部署和缩放 AI 系统，同时防范可能破坏信任、合规性或运营稳定性的风险。 通过将安全性嵌入 AI 计划的基础，组织可以充分发挥 AI 负责任的潜力，确保它仍然是一种战略资产，而不是意外伤害的来源。
通过与业务领导者保持一致，开始制定你的策略和优先级。 是什么激励了你的领导者，为什么他们关心 AI 的安全状况？ 下表提供了示例透视，但与这些领导和团队会面并共同了解彼此动机非常重要。
| 角色 | 为什么为 AI 构建强大的安全态势很重要 |
|---|---|
| 首席执行官（CEO） | AI 系统越来越多地塑造战略决策和客户交互。 AI 入侵或操控可能会导致不当决策、监管审查、声誉损害和失去信任。 强大的 AI 安全性对于组织而言至关重要，以保护公司的声誉，确保法律合规性，并确保成功的 AI 转换。 |
| 首席营销官（CMO） | AI 工具可推动客户见解、目标和个性化。 如果遭到入侵，这些工具可能会导致数据泄露、偏见输出或品牌损坏，因为内容或目标不当。 保护 AI 可确保信任客户参与、保持品牌完整性、防止 PR 灾难，并展示公司保护客户隐私的承诺。 |
| 首席信息官（CIO） | 安全 AI 环境对于确保系统可靠性、防止未经授权的访问和维护操作弹性至关重要。 这使得 CIO 能够自信地集成 AI 技术，这些技术可增强业务，而不会使企业面临不正当的风险。 |
| 首席信息安全官（CISO） | AI 引入了新的攻击面和新风险，同时放大了现有风险。 新的攻击面包括提示、响应、模型、RAG 数据、模型上下文协议（MCP）、训练数据和数据中毒、越狱攻击、数据安全等。 CISO 必须领导威胁建模和保护 AI 管道的努力，以维护企业安全状况。 可靠的 AI 安全是保护组织资产、遵守安全框架以及维护智能系统时代客户和利益干系人信任的整体网络防御策略的延伸。 |
| 首席技术官 (CTO) | 强大的 AI 安全态势对于 CTO 来说至关重要，以保护组织的技术资产，并确保 AI 系统按预期可靠地执行。 通过将安全性嵌入 AI 开发生命周期，CTO 有助于防止泄露敏感算法，并保持对 AI 驱动的产品的高质量和信任。 这样，创新就可以在没有不当风险的情况下继续。 |
| 首席运营官（COO） | AI 在供应链、物流和运营中自动执行关键流程。 对 AI 系统的攻击可能会中断服务、增加运营风险，并导致成本高昂的延迟。 强大的 AI 安全态势可确保业务连续性和效率。 |
| 首席财务官（CFO） | 首席财务官将稳健的AI安全策略视为保护组织的关键因素。 它有助于避免意外的财务损失，并确保遵守法律和报告义务。 |
解决 AI 不断变化的威胁环境
GenAI 引入了新的攻击面，有效地改变了风险格局。 除了管理传统威胁途径之外，安全和风险领导者还需要解决数据泄露和数据过度共享等放大的风险，以及提示注入、错误信息、模型漏洞和错误信息等新风险。 解决不断变化的威胁环境对于实现可信 AI 至关重要。
在插图中：
- GenAI 攻击面引入了新的和放大的风险。
- 保持不变的威胁向量包括应用程序、标识、终结点、网络、数据和云资源。
- GenAI 引入了新的攻击面，包括提示、响应、AI 编排、训练数据、RAG 数据（Retrieval-Augmented 生成数据，指的是您的数据或其他外部数据与语言模型交互产生的数据），AI 模型和 AI 插件。
- GenAI 引入了新的放大风险，包括数据泄露、越狱（破坏其他安全设备）、间接提示注入和模型漏洞。
目前，AI 中最常见的安全事件包括：
- 数据泄露和过度共享 - 用户可能会向影子 AI 应用泄露敏感数据（IT 团队未批准的应用）。 用户还可以使用 AI 应用访问敏感数据。
- 漏洞和新兴威胁 - 不良参与者可能会利用 AI 应用中的漏洞来访问有价值的资源。
- 不合规 — 法规（包括新兴的 AI 法规）可能会增加不确定性。 不合规的 AI 采用可能会增加责任。
以下两个示例方案突出了构建强大的 AI 安全态势的必要性。
如何过度共享和泄露数据？
在此示例中，Contoso 员工 Adele 查找并使用多个 AI 应用的敏感数据。
| 步骤 | DESCRIPTION | 未减轻的风险 |
|---|---|---|
| 1 | 阿黛尔无意中听到一名团队成员提到奥西迪安项目。 她使用Microsoft 365 Copilot 来查找其详细信息。 Copilot 为她提供了文档摘要和链接。 | Copilot 可以处理敏感数据，但不受限制。 敏感数据过度向员工公开，包括不应具有访问权限的员工。 |
| 2 | 阿黛尔继续使用科皮洛特查找并收集有关项目奥比迪安的详细信息。 | 没有用于检测 AI 应用中异常的控件。 |
| 3 | 出于好奇，Adele 希望了解 ChatGPT 会汇总的内容，因此她将文件的内容粘贴到 ChatGTP 中。 | 没有数据丢失防护（DLP），以防止数据泄露给使用者 AI 应用。 |
| 4 | 项目细节被过早披露，导致数据泄露。 因此，Contoso 禁止工作区中的所有 AI 应用。 | 完全禁止使用者 AI 可能会导致非法使用增加。 |
Contoso 可以通过执行准备、发现和保护 AI 应用使用情况的工作来缓解这些风险。
| 阶段 | DESCRIPTION |
|---|---|
| 准备 | 使用 Entra 和 SharePoint 高级管理 来适当调整员工对资源的访问权限。 使用 Purview 信息保护 对敏感数据进行分类和标记。 |
| 发现 | 使用 Purview DSPM for AI 发现数据风险。 使用 过度共享评估报告 来评估过度共享风险。 |
| 保护 |
在 Microsoft 365 Copilot 上实施 Purview DLP，以防止 Copilot 汇总敏感数据。 使用 Purview Insider Risk Management 检测和调查异常活动。 使用 自适应保护 动态限制高风险用户的访问。 使用 Defender for Cloud Apps 阻止高风险应用。 使用 Entra 条件访问 要求 Adele 在授予 ChatGPT 访问权限之前接受使用条款。 使用 Purview 终结点 DLP 阻止将敏感数据粘贴到使用者 AI 应用。 |
AI 如何引入合规性风险？
在下一个示例中，Jane 被分配负责领导 Contoso 的 AI 治理。
| 步骤 | DESCRIPTION | 未减轻的风险 |
|---|---|---|
| 1 | Jane 努力将法规要求解释为 IT 团队要实施的可作控制措施。 | 缺乏精通法规要求和技术的专家。 |
| 2 | Jane 开始为风险评估做准备，但不知道 Contoso 正在构建和使用的 AI 系统的事实。 她还无法了解使用情况和潜在的合规性风险。 | 无法查看环境中部署的 AI 系统。 不对 AI 使用情况进行治理。 |
| 3 | 经过几次内部采访，Jane 意识到开发人员正在同时构建大约 14 个 AI 应用，这些应用实施了各种安全、安全和隐私控制标准。 | 开发人员无法查看 AI 系统中生成的控件。 |
| 4 | 某些 AI 应用使用没有标准防护措施的个人数据来评估风险。 | 未进行风险评估。 |
| 5 | 客户抱怨 Contoso AI 创建了有害且不可靠的内容。 | 缺少 AI 输出控件。 |
AI 法规给负责 AI 治理的领导人带来了不确定性和压倒性责任风险。 没有任何变化，Contoso 可能会违反 AI 法规要求，并可能面临处罚和声誉损害。
Contoso 可以通过执行准备、发现和保护 AI 应用使用情况的工作来缓解这些风险。
| 阶段 | DESCRIPTION |
|---|---|
| 准备 | 使用 Purview 合规性管理器 获取有关实现有助于满足合规性要求的控件的指导。 |
| 发现 | 使用 Defender for Cloud 发现部署在云环境中的 AI 资源。 使用 Defender for Cloud Apps 发现正在使用的 SaaS AI 应用。 |
| 治理 | 通过 Microsoft Purview 审核、数据生命周期管理、通信合规性 和 电子数据展示来管理 AI 使用情况。 使用 Azure AI Foundry 中的 AI 报表 ，开发人员可记录 AI 项目详细信息。 使用 Priva 隐私评估 主动评估每个 AI 项目的隐私风险。 使用 Azure AI 内容安全 来缓解有害或不实内容的风险。 |
借助主动使用治理功能，组织可以在采用 AI 的同时评估和解决风险。
实现 AI 有效安全性的五个步骤
许多组织在意识到 GenAI 快速实施带来的风险之后，正通过积极投入大量资源，来增强他们的安全措施。 安全和风险领导者可以采取几个可行的步骤，为安全且安全的 AI 创新创造道路。
这些建议的做法侧重于促进协作环境，并实施有效的安全措施，以支持 GenAI 改进，同时保护组织利益。
步骤 1 - 构建 AI 安全团队
大多数公司认识到需要组建专门的跨职能团队来管理 AI 带来的独特安全挑战。 专用安全团队确保经过严格的测试，迅速识别和缓解漏洞，并不断更新安全协议，以跟上不断演变的威胁。
80%的调查受访者中，有45%（%）目前拥有一个专门的团队来解决AI的安全性问题，另外35%（%）计划这么做。 10分之6以上表示，他们的团队将向安全决策者报告，不仅确保警惕监督，而且确保战略愿景和领导能力解决与 AI 相关的风险。
值得注意的是，这些专用安全团队中位数或预期团队规模是 24 名员工，这凸显了公司致力于保护其 AI 计划的大量资源。 当公司规模被考虑在内时，团队规模会有所不同。
下面是组织可用于成功构建适用于 AI 的有效跨职能安全团队的一些最佳做法。
组建 AI 委员会，促进跨部门协作
AI 安全性是一项超越 IT 部门的集体努力。 鼓励安全、IT、法律、合规性和风险管理等团队之间的协作，以制定全面的安全策略。 具有不同的观点和专业知识将提高安全协议的有效性。
招聘多元化的技能组合
组建成功的 AI 安全团队需要技能的平衡。 查找具有数据科学、网络安全、软件工程和机器学习专业知识的团队成员。 这种多样性可确保从技术开发到威胁防护，涵盖安全的各个方面。
建立明确的角色和职责
为了提高工作效率，请明确定义每个团队成员的角色。 确保每个人都了解他们的具体职责，从而促进问责，避免在努力中重叠。
投资持续培训和开发
AI 技术的快速发展要求对安全团队进行持续教育。 提供针对实践、新兴威胁和与 AI 安全性相关的道德注意事项的培训计划和研讨会的访问权限。 这种投资不仅能赋能团队成员，还能确保组织能够防范潜在漏洞。
步骤 2 - 优化资源以保护 GenAI
组织内的 AI 应用程序的引入不仅彻底改变了运营，而且需要对资源和预算分配进行重大更改，尤其是在 IT 安全方面。
绝大多数安全和风险领导者（78%）认为，他们的 IT 安全预算将增加，以适应 AI 带来的独特挑战和机遇。 这种调整对于几个原因至关重要。 AI 系统需要可靠的安全基础结构才能安全运行。 这可能涉及升级现有安全系统、实施更严格的访问控制以及增强数据安全和治理。 还需要其他资源来满足新兴的 AI 法规要求。
本文前面部分，Microsoft建议努力了解整个组织中的业务主管和不同业务部门的动机。 确定最关心的问题和共同的业务目标是谈判资源以实现目标的重要一步。
分配用于合规性评估、法律咨询和审核的资金对于使组织的 AI 战略与行业框架保持一致至关重要，并启用更安全、安全且合规的 AI 使用情况和系统。 在分配预算和资源时，优先考虑为持续的员工培训和技能发展提供资金，其中可能包括 AI 安全工具、风险管理策略和 AI 使用中的道德考虑方面的专门培训，这一点也很重要。
步骤 3 - 采用零信任方法
为 AI 采用做准备时， 零信任 策略为安全和风险领导者提供了一套原则，可帮助解决其一些最关心的问题，包括数据过度共享或过度利用和影子 IT。 零信任方法从以网络为中心的焦点转变为资产和数据为中心的焦点，并将每个访问请求视为潜在威胁，而不管其来源如何。
零信任会不断验证每个用户和设备的身份，确保只有具有明确权限的用户才能访问敏感信息。 通过基于实时评估动态调整安全措施，零信任可最大限度地减少数据泄露的风险，并保护组织免受内部和外部威胁。 持续验证、最小特权访问和动态风险管理是此方法的基石，提供可靠且适应性强的安全框架，支持组织端到端安全性的成功。
通过接受零信任，组织可以保护其 AI 部署，并知道其安全性是持续验证和保护的。 零信任使组织能够自信地接受 AI，确保 AI 的强大功能安全有效地得到利用。
Microsoft提供的所有 AI 安全指南都定位到零信任原则。 按照 GenAI 推荐的安全指南，你正在构建强大的零信任基础。
步骤 4 - 与你信任的合作伙伴共同承担责任
通常用于帮助通知策略和优先级的资源是共同的责任模型。 你在组织中保护 AI 使用的责任取决于所使用的应用的类型。 你投资的合作伙伴与你共同负责。
共享责任模型可帮助安全团队指导其组织选择：
- GenAI 应用可以减少对组织的责任。
- 赢得了信任的合作伙伴。
此图汇总了你和Microsoft的责任平衡。 许多组织使用共享责任模型来优先使用 SaaS 应用，并与受信任的提供商合作，并减少自定义构建的应用数量。
有关详细信息，请参阅 AI 共同责任模型 - Microsoft Azure。
除了与赢得信任的合作伙伴进行投资外，许多安全专业人员建议整合安全工具和供应商。 Microsoft为 AI 提供了一个全面的安全解决方案，这些工具协同工作，大大减少了安全团队的集成工作量。
步骤 5 - 为 AI 采用全面的安全解决方案
AI 引入了传统安全措施可能无法完全解决的特定风险。 AI 的安全性旨在缓解这些风险。
绝大多数公司计划采购专用工具和平台，以确保 AI 应用程序的使用情况和开发。 当被问及他们如何计划保护组织中 AI 应用程序的使用情况和保护时，大多数调查受访者（72%）表示，他们计划采购新的专用安全解决方案来保护 AI 的使用和发展，而64% 表示他们计划使用现有的安全解决方案来保护 AI。
IT 和安全主管认为，AI 保护和治理新解决方案的主要预算贡献者将是 IT 部门（63%）和信息安全/网络安全部门（57个%）。 这些发现表明，除了继续使用现有安全解决方案外，组织还认为需要寻找有助于解决 AI 放大和新兴风险的新解决方案。
除了Microsoft的端到端安全平台之外，Microsoft提供全面的安全工具来保护 AI，从发现 AI 工具和数据到专为缓解 AI 威胁而设计的保护。 这些工具包括复杂的仪表板和合规性资源，帮助你随时了解风险和监管义务。
以下图像是 Microsoft 提供的用于保护 AI 采用的所有功能的摘要视图。 下表中还列出了这些功能。
| 客户最关心的问题 | 能力 |
|---|---|
| 防止数据泄露和过度共享 | - 访问和终端控制 - Microsoft Entra & Intune - 适用于 AI 的数据安全状况管理 - Microsoft Purview - 数据分类、标记和保护 - Microsoft Purview - 数据丢失防护 - Microsoft Purview - 异常和有风险的活动检测和响应 - Microsoft Purview - SaaS 应用安全性 - Microsoft Defender |
| 保护 AI 免受漏洞和新兴威胁 | - 数据安全和治理 - Microsoft Purview - 质量、安全和安全控制评估 - Azure AI Foundry - AI 资产（应用、模型、业务流程协调程序、SDK）的安全状况管理 - Microsoft Defender - 模型治理策略 - Azure 门户 - 内容安全提示防护 - Azure AI - AI 工作负载的威胁防护 - Microsoft Defender |
| 治理 AI 以符合法规要求 | - 针对 AI 法规和标准的合规性评估 - Microsoft Purview - AI 发现与目录 - Microsoft Defender - 提示与响应审核、生命周期管理、电子取证、通信合规 — Microsoft Purview - 开发人员用于记录项目详细信息和控制的 AI 报告 - Azure AI Foundry - 隐私影响评估 - Microsoft Priva - 针对有害内容、不正确的信息和受保护的材料进行缓解 — Azure AI 内容安全 |
保护 AI 的后续步骤
此库指导你完成分阶段方法实现 AI 安全性的过程。
按照本系列文章中的指南，详细了解如何保护 AI 并识别和实现实现组织目标的功能。
若要详细了解如何优化整体安全状况和零信任，请参阅 快速实现安全态势的现代化。
要开始使用推荐的安全保护措施来保护 AI 助手，请参阅 使用零信任安全性为 AI 助手做好准备，包括 Microsoft Copilots。