数据图中的扫描和引入

重要

仅停用 Microsoft Purview 数据治理功能

Microsoft Purview 统一目录和经典 Microsoft Purview 数据治理功能 (以前称为 Azure Purview) 即将停用。 Microsoft Purview 整体未停用。 Microsoft Purview 数据安全性和合规性功能不受此公告的影响,Microsoft 将继续对其进行投资。

Microsoft 正在 Microsoft Fabric 中整合其 数据治理 功能。 无法再创建新的 Microsoft Purview 数据治理帐户,现有数据治理功能将在 2027 年 11 月 12 日前保持维护模式。

有关停用时间表、过渡指南和建议的后续步骤,请参阅 Microsoft Purview 数据治理停用公告。

本文概述了 Microsoft Purview 数据映射中的扫描和引入功能。 这些功能将 Microsoft Purview 帐户连接到源以填充数据映射和统一目录,以便你可以开始通过 Microsoft Purview 浏览和管理数据。

  • 扫描从数据源捕获元数据,并将其转到 Microsoft Purview。
  • 引入 处理元数据并将其存储在来自以下两者的统一目录中:
    • 数据源扫描 - 扫描的元数据将添加到数据映射。
    • 世系连接 - 转换资源将有关其源、输出和活动的元数据添加到数据映射中。

扫描

在 Microsoft Purview 帐户中 注册 数据源后,请扫描数据源。 扫描过程连接到数据源并捕获技术元数据,如名称、文件大小、列等。 它还提取结构化数据源的架构,对架构应用分类,并在 数据映射连接到 Microsoft Purview 门户时应用敏感度标签。 可以触发扫描过程以立即运行或计划扫描过程定期运行,以使 Microsoft Purview 帐户保持最新。

对于每次扫描,您可以自定义过程,以便仅扫描所需的信息,而不是整个源。

为扫描选择身份验证方法

默认情况下,Microsoft Purview 是安全的。 它不直接存储密码或机密,因此您需要为您的来源选择身份验证方法。 可以通过多种方式对 Microsoft Purview 帐户进行身份验证,但并非每个数据源都支持所有方法。

  • 托管身份
  • 服务主体
  • SQL 身份验证
  • Windows 身份验证
  • 角色 ARN
  • 委派的身份验证
  • 使用者密钥
  • 帐户密钥或基本身份验证

尽可能使用托管标识,因为它无需存储和管理单个数据源的凭据。 此方法可以大大减少您和您的团队在设置和排除扫描身份验证故障所花费的时间。 为 Microsoft Purview 帐户启用托管标识时,将在 Microsoft Entra ID (Entra ID) 中创建标识,并将其与帐户的生命周期相关联。

确定扫描范围

扫描源时,可以扫描整个数据源,也可以仅选择) 扫描的特定实体 (文件夹或表。 可用选项取决于要扫描的源。 您可以为一次性扫描和计划扫描定义这些选项。

例如, 在为 Azure SQL 数据库创建和运行扫描时,可以选择要扫描的表或选择整个数据库。

对于每个实体 (文件夹或表) ,存在三种选择状态:完全选中、部分选中和未选中。 在以下示例中,如果在文件夹层次结构中选择“ 部门 1 ”,则“ 部门 1 ”被视为完全选中。 部门 1 的父实体(公司和示例)被视为部分选中,因为未选中同一父 (下的其他实体,例如部门 2) 。 在 UI 上对具有不同选择状态的实体使用不同的图标。

显示扫描页面范围的屏幕截图。

运行扫描后,很可能会在源系统中添加新资产。 缺省情况下,如果再次运行扫描时完全或部分选择了某个父项下的未来资产,则将自动选择该父项下的未来资产。 在前面的示例中,选择“ 部门 1 ”并运行扫描后,再次运行扫描时,将包括文件夹“ 部门 1 ”或 “公司 和 示例 ”下的任何新资产。

切换按钮(如下图所示)允许用户控制在部分选定的父项下自动包含新资产。 默认情况下,开关处于关闭状态,部分选定父项的自动包含行为处于禁用状态。 关闭开关后,再次运行扫描时,不会包含部分选定父项(如 Company 和 example )下的任何新资产;将来的扫描中仅包括 部门 1 下的新资产。

显示切换按钮关闭时扫描页面范围的屏幕截图。

如果打开了切换开关,则在再次运行扫描时完全或部分选择了父项下的新资产。 包含行为与引入切换之前相同。

显示打开切换按钮的扫描页面范围的屏幕截图。

注意

  • 切换按钮的可用性取决于数据源类型。 目前,它以公共预览版的形式提供,其来源包括 Azure Blob 存储、Azure Data Lake Storage Gen 1、Azure Data Lake Storage Gen 2、Azure 文件存储和 Azure 专用 SQL 池 (以前称为 SQL DW) 。
  • 对于在引入切换之前创建或计划的任何扫描,切换状态设置为“ 打开 ”且无法更改。 对于在引入切换后创建或计划的任何扫描,在保存扫描后无法更改切换状态。 需要创建新的扫描来更改切换状态。
  • 当切换关闭时,对于 Azure Data Lake Storage Gen 2 等存储类型的源,可能需要长达 4 小时才能在扫描作业完成后按 源类型浏览 体验完全可用。

已知限制

关闭开关时:

  • 不会扫描部分选定父项下的文件实体。
  • 如果显式选择了父项下的所有现有实体,则将被视为完全选择父项,并且再次运行扫描时将包括父项下的任何新资产。

自定义扫描级别

在数据映射术语中,根据元数据范围和功能,存在三个不同级别的扫描:

  • L1 扫描:提取基本信息和元数据,如文件名、大小和完全限定名称
  • L2 扫描:提取结构化文件类型和数据库表的架构
  • L3 扫描:提取架构(如果适用),并将采样文件置于系统和自定义分类规则之下

设置新扫描或编辑现有扫描时,可以自定义支持扫描级别配置的扫描数据源的扫描级别。

显示用于选择扫描级别的下拉列表的屏幕截图。

默认情况下,将选择“自动检测”,这意味着 Microsoft Purview 应用可用于此数据源的最高扫描级别。 以 Azure SQL 数据库为例,执行扫描时,“自动检测”将解析为“级别 3”,因为数据源已支持 Microsoft Purview 中的分类。 扫描运行详细信息中的扫描级别显示实际应用的级别。

显示所应用的实际扫描级别的屏幕截图。

对于在将扫描级别自定义为新功能之前完成的扫描历史记录中的所有扫描运行,扫描级别将设置并显示为 自动检测。

显示自动检测扫描级别的屏幕截图。

  • 当更高的扫描级别可用于数据源时,将扫描级别设置为“ 自动检测 ”的已保存或计划扫描会自动应用新的扫描级别。 例如,如果为给定数据源启用了分类为新功能,那么此数据源上的所有现有扫描都会自动应用分类。

  • 扫描级别设置显示在每次扫描运行的扫描监视界面中。

  • 如果选择 级别 1,则扫描仅返回基本技术元数据,例如资产名称、资产大小、修改的时间戳等,具体取决于特定数据源的现有元数据可用性。 对于 SQL 数据库,该过程会在数据映射中创建资产实体(如表),但不会提取表架构。 (注意:如果用户在源系统) 中 具有必要的权限 ,则仍可以通过实时视图查看表架构。

  • 如果选择 级别 2,扫描将返回表架构和基本技术元数据,但不执行数据采样和分类。 对于 Azure SQL 数据库,表资产实体捕获不含分类信息的表架构。

  • 如果选择 级别 3,扫描将执行数据采样和分类。 这是在引入新功能时进行扫描级别之前的 Azure SQL 数据库扫描的标准配置。

  • 如果将计划扫描设置为较低的扫描级别,然后将其修改为较高的扫描级别,则下一次扫描运行会自动执行完整扫描,并使用较高扫描级别设置引入的元数据更新数据源中的所有现有数据资产。 例如,当您在 Azure SQL 数据库上将 级别为 2 的 计划扫描集更改为 级别 3 时,下一次扫描运行将是完整扫描,并使用分类信息更新所有现有的 Azure SQL 数据库表和视图资产。 此后的所有扫描都恢复为 级别 3 设置的增量扫描。

  • 如果将计划扫描设置为较高的扫描级别,然后将其修改为较低的扫描级别,那么下一次扫描运行将继续执行增量扫描,并且来自数据源的所有新数据资产仅具有较低扫描级别设置引入的元数据。 例如,当您在 Azure SQL 数据库上将 级别为 3 级 的计划扫描集更改为 级别 2 时,下一次扫描运行是增量扫描,并且在数据映射中添加的所有新 Azure SQL 数据库表和视图资产都没有分类信息。 所有现有数据资产仍保留从上一次扫描集生成的分类信息集( 级别 3)。

注意

  • 自定义扫描级别当前适用于以下数据源:Azure SQL 数据库、Azure SQL 托管实例、Azure Cosmos DB for NoSQL、Azure Database for PostgreSQL、Azure Database for MySQL、Azure Data Lake Storage Gen2、Azure Blob 存储、Azure 文件存储、Azure Synapse Analytics、Azure 专用 SQL 池 (以前称为 SQL DW) 、Azure 数据资源管理器、 Dataverse、Azure 多个 (Azure 订阅) 、Azure 多个 (Azure 资源组) 、Snowflake、Azure Databricks Unity 目录
  • 目前,该功能仅在 Azure 集成运行时 和 托管虚拟网络集成运行时 v2 上可用。

扫描规则集

扫描规则集确定扫描在针对其中一个源运行时要查找的信息类型。 可用规则取决于要扫描的源类型,但包括应扫描的文件 类型 和所需的 分类 类型等内容。

许多数据源类型已经具有 系统扫描规则集,但您也可以 创建自己的扫描规则集 ,以根据组织定制扫描。

计划扫描

Microsoft Purview 允许你选择在所选的特定时间每天、每周或每月进行扫描。 详细了解支持的 计划选项。 每日或每周扫描可能适用于具有正在开发或频繁更改的结构的数据源。 每月扫描更适合于不经常更改的数据源。 请与要扫描的源的管理员协作,以确定对源的计算需求较低的时间。

如何扫描检测已删除的资产

Microsoft Purview 目录仅在运行扫描时才知道数据存储的状态。 为了让目录知道文件、表或容器是否被删除,它会将上次扫描输出与当前扫描输出进行比较。 例如,假设上次扫描 Azure Data Lake Storage Gen2 帐户时,它包含一个名为 folder1 的文件夹。 再次扫描同一帐户时, folder1 丢失。 因此,目录假定文件夹已删除。

提示

由于检测已删除文件的方式,可能需要多次成功扫描来检测和解析已删除的资产。 如果统一编录未注册范围扫描的删除,请尝试多次完整扫描来解决问题。

检测已删除的文件

检测丢失文件的逻辑适用于同一用户和不同用户的多次扫描。 例如,假设用户对文件夹 A、B 和 C 上的 Data Lake Storage Gen2 数据存储运行一次性扫描。稍后,同一帐户中的不同用户对同一数据存储的文件夹 C、D 和 E 运行不同的一次性扫描。 由于文件夹 C 已扫描两次,因此目录会检查它是否存在可能的删除内容。 但是,文件夹 A、B、D 和 E 只扫描了一次,目录不会检查其中是否有已删除的资产。

若要将已删除的文件排除在目录之外,请务必定期运行扫描。 扫描间隔很重要,因为在运行另一次扫描之前,目录无法检测到已删除的资产。 因此,如果每月对特定存储运行一次扫描,则目录无法检测到该存储中任何已删除的数据资产,直到一个月后运行下一次扫描。

枚举大型数据存储(如 Data Lake Storage Gen2)时,有多种方式 (包括枚举错误和丢弃的事件,) 遗漏信息。 特定扫描可能会错过已创建或删除的文件。 因此,除非目录确定文件已删除,否则不会从目录中删除它。 此策略意味着,当扫描的数据存储中不存在的文件仍存在于目录中时,可能会出现错误。 在某些情况下,可能需要对数据存储进行两到三次扫描才能捕获某些已删除的资产。

注意

  • 成功扫描后,将删除标记为要删除的资产。 已删除的资产在处理和删除之前,可能会在一段时间内继续在目录中可见。
  • 仅 Microsoft Purview 中的这些源支持删除检测:Azure Synapse Analytics 工作区、已启用 Azure Arc 的 SQL Server、Azure Blob 存储、Azure 文件存储、Azure Cosmos DB、Azure 数据资源管理器、Azure Database for MySQL、Azure Database for PostgreSQL、Azure 专用 SQL 池、Azure 机器学习、Azure SQL 数据库和 Azure SQL 托管实例。 对于这些源,从数据源中删除资产时,后续扫描将自动删除 Microsoft Purview 中相应的元数据和世系。

引入

摄取是将通过各种进程收集的元数据填充数据映射的过程。

注意

所有子对象 (引用的实体) 和联系人 (所有者、专家) 的总计数不得超过 20,000 个实体。

从扫描中引入

扫描过程可识别技术元数据或分类,并将其发送到摄取。 引入分析扫描的输入, 应用资源集模式,填充可用的 世系 信息,然后自动加载数据映射。 只有在摄取完成后,才能发现或策划资产和架构。 如果扫描完成,但在 Data Map 或目录中看不到资产,则需要等待摄取过程完成。

从世系连接引入

可以将 Azure 数据工厂 和 Azure Synapse 等资源连接到 Microsoft Purview,以将数据源和世系信息引入数据映射。 例如,当复制管道在连接到 Microsoft Purview 的 Azure 数据工厂中运行时,该服务将引入有关输入源、活动和输出源的元数据。 信息将添加到数据映射中。

如果通过扫描将数据源添加到“数据映射”,则有关该活动的世系信息将添加到现有源中。 如果您尚未将数据源添加到 Data Map,则世系摄取过程会将其及其世系信息添加到根集合中。

有关可用世系连接的更多信息,请参阅 世系用户指南。

后续步骤

有关更多信息或有关扫描源的具体说明,请按照以下链接进行操作。