什么是 Databricks-to-Databricks 的 OpenSharing 协议?

本页概述了如何使用 Databricks-to-Databricks OpenSharing,与任何 Databricks 用户安全地共享数据,无论其账户或云平台为何,只要该用户可以访问已启用 Unity Catalog 的工作区。

哪些用户应使用 Databricks-to-Databricks 的 OpenSharing?

可通过三种方法使用 OpenSharing 共享数据。

  1. Databricks 到 Databricks 共享协议(本文将对此进行介绍)允许您将支持 Unity Catalog 的工作区中的数据共享给同样有权访问启用了 Unity Catalog 的 Databricks 工作区的用户。

    此方法使用内置于Azure Databricks的 OpenSharing 服务器,并为提供程序和收件人提供笔记本共享、Unity 目录数据管理、审核和使用情况跟踪的支持。 与 Unity 目录的集成简化了提供者和接收者的设置和治理,并提高了性能。

  2. Databricks-to-Open共享协议 允许你将你在支持Unity目录的Databricks工作区中管理的数据分享给任何计算平台的用户。

    请参阅什么是 Databricks 到 Open 共享协议?

  3. 由客户管理的开源 OpenSharing 服务器实现允许你从任何平台共享到任何平台,无论是否是 Databricks。

    请参阅 开放源代码 项目。

有关 OpenSharing 的简介和有关这三种方法的详细信息,请参阅 什么是 OpenSharing?。

Databricks-to-Databricks OpenSharing 工作流

本部分提供 Databricks 到 Databricks 共享工作流的概述,并提供每个步骤的详细文档链接。

在 Databricks-to-Databricks OpenSharing 模型中:

  1. 数据提供程序会在提供程序的 Unity Catalog 元存储中创建一个共享。 该命名对象包含在元存储中注册的表格、视图、卷、笔记本和Unity Catalog代理技能集合。

    有关详细信息,请参阅 为 OpenSharing 创建共享。

  2. 数据提供者在其 Unity 目录元存储中创建 接收 对象,代表访问共享中包含的数据的用户或用户组。 提供者可以通过 电子邮件 邀请收件人,或用连接到接收者访问共享空间的Unity Catalog元存储 库的共享标识 符来识别收件人。

    详情请参见为 Azure Databricks 用户创建接收对象。

  3. 数据提供程序为接收者授予对共享的访问权限。

    有关详细信息,请参阅 管理对 OpenSharing 数据共享(对于提供程序)的访问权限。

  4. 共享在收件人的 Databricks 工作区中可用,收件人可以使用目录资源管理器、Databricks CLI 或 Azure Databricks 笔记本或 Databricks SQL 查询编辑器中的 SQL 命令访问它。

    要访问共享中的表、视图、卷、笔记本和代理技能,元存储管理员或 特权用户 必须从共享创建目录。 然后,该用户或其他被授予相应特权的用户可以向其他用户授予对目录中的目录和对象的访问权限。 授予对共享目录和数据资产的权限的工作方式与在 Unity 目录中注册的任何其他资产的工作方式相同,重要的是,用户只能对从 OpenSharing 共享创建的目录中的对象授予读取访问权限。

    共享笔记本位于目录级别,对目录具有 USE CATALOG 权限的任何用户都可以访问它们。

    有关详细信息,请参阅 读取通过 Databricks-to-Databricks OpenSharing 共享的数据(适用于接收方)。

通过历史共享提升表读性能

Databricks 到 Databricks 表共享可通过启用历史记录共享来改善性能。 共享历史记录通过利用云存储中的临时安全凭证(范围限定为提供程序的共享 Delta 表的根目录)来提高性能,从而使性能与直接访问源表相当。

  • 对于新表共享,请在创建表共享时指定 WITH HISTORY。 请参阅添加表格到共享。 在 Databricks Runtime 16.2 及更高版本上使用计算共享表时,WITH HISTORY 是默认值。
  • 对于现有的表共享,必须修改共享以共享表历史记录。 请参阅更新共享。 在 Databricks Runtime 16.2 及更高版本上使用计算共享表时,WITH HISTORY 是默认值。

共享整个架构时,架构中的所有表默认与历史记录共享。

注释

启用了分区的表不会获得历史记录共享的性能优势。 请参阅指定要共享的表分区

共享流媒体表时,WITH HISTORY不起作用。 目录资源管理器中该流式处理表的历史值显示为空,共享 API 将 history_data_sharing_status 返回为 DISABLED。 这是预料之中的,并不意味着配置错误。 接收者通过无服务器计算读取流式表,该计算会访问其所需的底层历史记录。 参见 向共享添加流式表。

有关云令牌资格要求和数据隐私注意事项,请参阅 云令牌资格。

Databricks到Databricks OpenSharing支持矩阵,适用于云环境

Databricks-to-Databricks OpenSharing 支持在同一环境类型内进行共享。 商业云包括启用了符合性控制(例如 FedRAMP Moderate)的工作区。 不支持与 Azure 政府 环境共享内容。

Important

跨监管域共享现处于 公开预览 阶段。

在此矩阵中,每一行表示提供程序环境(元存储共享数据),每列表示收件人环境(元存储接收共享数据)。

提供程序 接收者:商业云 收件人:AWS GovCloud 收件人:AWS GovCloud DoD 收件人:Azure 中国
商业云 ✓ ✓ ✓ ✓
AWS GovCloud ✓ ✓ ✓
AWS GovCloud DoD ✓ ✓ ✓
Azure 中国 ✓ ✓

局限性

以下限制适用于跨监管域共享:

  • 除非共享内容跨入或退出AWS GovCloud或AWS GovCloud DoD,否则都会使用云令牌。 在以下情况下,则改为通过预签名 URL 共享表格:
    • 商业云向 AWS GovCloud 或 AWS GovCloud DoD 共享资源,或从 AWS GovCloud 或 AWS GovCloud DoD 接收共享资源。
    • AWS GovCloud 和 AWS GovCloud DoD 彼此共享。