你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

洁净室与多方数据分析

Azure 机密计算 (ACC) 为使多方能够协作处理数据的解决方案提供了基础。 存在多种方法,且不断壮大的合作伙伴生态系统帮助Azure客户、研究人员、数据科学家和数据提供商在保护隐私的同时协作处理数据。 本概述介绍一些可用于在 ACC 上运行的方法和现有解决方案。

什么是数据和模型保护?

数据洁净室解决方案通常为一个或多个数据提供商提供一种方式,以便将数据合并进行处理。 通常,提供者会就参与者之一(如研究人员或解决方案提供商)创建的代码、查询或模型达成一致。 在许多情况下,这些数据是敏感的,不应直接与其他参与者共享,无论是其他数据提供商、研究人员还是解决方案供应商。 为了帮助确保数据洁净室中使用的数据和模型二者的安全性和隐私,机密计算可以通过密码学方式验证参与者无法访问数据或模型,包括在处理过程中。 通过使用 ACC,解决方案可以保护数据和模型 IP 免受云运营商、解决方案提供商和数据协作参与者的侵害。

有哪些行业用例示例?

通过使用 ACC,客户和合作伙伴构建保护隐私的多方数据分析解决方案,有时称为“机密洁净室”。 这些解决方案可以是专门构建为保密的全新解决方案,也可以是通过使用 ACC 实现保密的现有数据洁净室解决方案。

  • 丰业银行——借助 Azure 机密计算和解决方案合作伙伴 Opaque,验证了利用 AI 分析跨银行资金流以识别洗钱并标记人口贩运案例的可行性。
  • Novartis Biome - 使用在 ACC 上运行的 BeeKeeperAI 合作伙伴解决方案,以便寻找罕见疾病临床试验的候选者。
  • 领先的支付服务提供商 将数据跨银行连接起来,用于欺诈和异常检测。
  • 数据分析服务 和数据净室解决方案采用ACC来提升数据保护,满足欧盟客户合规要求和隐私法规。

为何使用机密计算?

数据净室并不是一个全新的概念。 然而,机密计算的进步为利用更广泛的数据集、保护AI模型的知识产权以及更好地符合数据隐私法规提供了更多机会。 在以前的情况下,某些数据可能不可访问,理由包括

  • 竞争劣势或法规阻碍行业内公司之间共享数据。
  • 匿名化降低了有关数据的见解质量,或者过于昂贵且耗时。
  • 由于安全问题,数据绑定到了某些位置,并且不会在云中进行处理。
  • 成本高昂或耗时漫长的法律流程用于处理数据泄露或滥用时的责任问题。

这些现实情况可能导致不完整或无效的数据集,从而导致更弱的见解,或者在训练和使用 AI 模型时需要更多时间。

构建洁净室解决方案时有哪些注意事项?

批处理分析与实时数据管道:在设计或使用洁净室解决方案时,请考虑数据集的大小和获得洞察的速度。 当数据“离线”可用时,你可以将其加载到经过验证和安全的计算环境中,对大量数据进行分析处理,甚至是整个数据集。 这种批量分析方法允许用无需立即给出结果的模型和算法来评估大型数据集。 例如,批量分析在对数百万条健康记录进行机器学习推断以寻找临床试验的最佳候选者时效果良好。 其他解决方案则需要对数据进行实时洞察,例如当算法和模型旨在识别多个实体之间近实时交易中的欺诈时。

零信任参与:机密洁净室的一个主要差异化优势是无需信任任何参与方,从数据提供方到代码和模型开发者、解决方案提供商以及基础结构运维管理员。 可以提供使数据和模型知识产权均免受各方侵害的解决方案。 在接入或构建解决方案时,参与者应同时考虑他们要保护什么,以及代码、模型和数据各自要防范谁。

联邦学习: 联邦学习涉及创建或使用一种解决方案,其中模型在数据所有者的租户中处理数据,洞察在中央租户中汇聚。 在某些情况下,模型甚至可以运行在 Azure 以外的数据上,模型聚合仍然在 Azure 中进行。 很多时候,联邦学习在洞察聚合后随着模型参数的改进而对数据进行迭代。 模型的迭代成本和质量应纳入解决方案和预期结果。

数据驻留和源:客户的数据存储在多个云和本地。 协作可以包括来自不同源的数据和模型。 Cleanroom 解决方案有助于将来自这些其他位置的数据和模型引入 Azure。 当数据无法从本地数据存储移动到 Azure 时,某些清理室解决方案可以在数据驻留的站点上运行。 管理和策略可由通用解决方案提供商提供支持(如果可用)。

代码完整性与机密账本:通过使用运行在Azure机密计算上的分布式账本技术(DLT),你可以构建跨组织网络运行的解决方案。 只有当各参与者达成共识时,才会添加代码逻辑和分析规则。 所有代码更新都会记录到由 Azure 机密计算支持的防篡改日志中,以供审计。

有哪些入门选项?

Azure 机密净室 (预览版)

Azure 机密洁净室 (ACCR)专为有以下需求的组织设计:与其他组织安全共享个人身份信息 (PII) 或受保护健康信息 (PHI) 等隐私敏感数据,以获得业务关键洞察;使用来自其他组织的敏感数据微调 ML 模型,以提高准确性;或与合作伙伴组织对联合数据执行安全分析。 ACCR 使用 Azure 容器实例上的机密容器,确保您的数据不会被其他协作者和 Azure 操作员访问。 其应用范围涵盖医疗、广告、银行和金融服务以及零售等多个行业。

您可以通过提交此 表格报名参加ACCR预览。

帮助启用机密清理室的 ACC 平台产品/服务

做好准备,直接在这些机密计算服务产品/服务上构建数据清理室解决方案。

Azure 容器实例(ACI)上的机密容器和机密虚拟机节点池为构建机密清洁室解决方案提供了容器解决方案。 Intel SGX 安全区选项仍可用于特殊场景。

机密虚拟机 (VM) 为机密洁净室解决方案提供 VM 平台。

安全飞地中的 Azure SQL AE 提供用于加密 SQL 中的数据和查询的平台服务,可用于多方数据分析和机密洁净室。

Confidential Consortium Framework是一个开源框架,用于构建高度可用的有状态服务,这些服务使用集中式计算来方便使用和性能,同时提供分散式信任。 它使多个参与方能够对机密数据执行可审核计算,而无需相互信任或信任特权操作员。

启用机密清理室的 ACC 合作伙伴解决方案

选择在Azure机密计算平台上构建多方数据分析解决方案的合作伙伴。

  • Anjuna 提供了一个机密计算平台,使各种用例(包括安全洁净室)可供组织共享数据进行联合分析,例如计算信用风险分数或开发机器学习模型,而无需公开敏感信息。
  • BeeKeeperAI 通过安全协作平台为算法所有者和数据专员赋能医疗健康AI。 BeeKeeperAI在机密计算环境中对多机构受保护的数据进行隐私保护型分析。
  • Decentriq 提供了基于机密计算构建的 SaaS 数据洁净室,使安全数据协作无需共享数据。 数据科学清理室允许灵活的多方分析,媒体和广告的无代码清理室基于第一方用户数据启用合规的受众激活和分析。 本文 Microsoft 博客中更详细地介绍了机密清洁室。
  • Duality Technologies支持对参与者无法集中汇集的数据进行多方分析和 AI 处理。 它根据每个工作负载的需要,结合机密计算和可信执行环境、全同态加密、联邦学习和差分隐私,同时每个数据集在跨部门或组织使用时仍由其所有者控制。 应用场景包括跨机构的临床和真实世界证据研究、欺诈检测以及反洗钱分析。
  • Fortanix 提供了一个机密计算平台,能够支持机密 AI,包括多个组织协作进行多方分析。
  • Opaque 为协作分析和 AI 提供机密计算平台,使其能够在保护数据端到端安全的同时执行可扩展的协作分析,并帮助组织遵守法律和监管要求。