重要
仅停用 Microsoft Purview 数据治理功能
Microsoft Purview 统一目录和经典 Microsoft Purview 数据治理功能 (以前称为 Azure Purview) 即将停用。 Microsoft Purview 整体未停用。 Microsoft Purview 数据安全性和合规性功能不受此公告的影响,Microsoft 将继续对其进行投资。
Microsoft 正在 Microsoft Fabric 中整合其 数据治理 功能。 无法再创建新的 Microsoft Purview 数据治理帐户,现有数据治理功能将在 2027 年 11 月 12 日前保持维护模式。
有关停用时间表、过渡指南和建议的后续步骤,请参阅 Microsoft Purview 数据治理停用公告。
Microsoft Purview 数据映射支持 (SaaS) 数据源自动扫描本地、多云和软件即服务。
运行扫描时,该进程将开始从注册的数据源中摄取元数据。 在扫描和整理过程结束时,你将获得包含技术元数据的精选元数据。 此元数据可以包括数据资产名称,例如表名或文件名、文件大小、列和数据世系。 对于结构化数据源,还会捕获架构详细信息。 关系数据库管理系统就是此类来源的一个示例。
策展过程会根据您配置的扫描规则集在架构属性上应用自动分类标签。 如果 Microsoft Purview 帐户连接到 Microsoft Purview 门户,则会应用敏感度标签。
重要
如果有任何阻止更新存储帐户的 Azure 策略 ,这些策略会导致 Microsoft Purview 扫描过程出错。 请参阅为 Microsoft Purview 创建 Azure 策略排除 项,以创建 Microsoft Purview 帐户的例外。
为什么需要最佳做法来管理数据源?
最佳做法可帮助你:
- 优化成本。
- 构建卓越运营。
- 提高安全合规性。
- 提高性能效率。
注册源并建立连接
以下设计注意事项和建议可帮助您注册源并建立连接。
设计注意事项
- 使用集合创建与组织战略一致的层次结构,例如地理位置、业务职能或数据源。 层次结构定义要注册和扫描的数据源。
- 根据设计,不能在同一 Microsoft Purview 帐户中多次注册数据源。 此体系结构有助于避免为同一数据源分配不同访问控制的风险。
设计建议
如果多个团队使用同一数据源的元数据,请在父集合中注册和管理数据源。 然后,在每个子集合下创建相应的扫描。 这样,相关资产就会显示在每个子集合下。 地图视图将没有父项的源分组到虚线框中。 没有箭头将他们与父母联系起来。
如果需要在云中注册多个源(如 Azure 订阅或资源组),请使用 Azure Multiple 选项。 有关详细信息,请参阅以下文档:
注册数据源后,可以多次扫描同一源。 不同的团队或业务部门可能以不同的方式使用同一源。
有关如何定义用于注册数据源的层次结构的详细信息,请参阅 集合体系结构的最佳实践。
扫描
以下设计注意事项和建议是根据扫描过程中涉及的关键步骤整理的。
设计注意事项
- 注册数据源后,设置扫描以管理自动和安全的元数据扫描和管理。
- 扫描设置包括为每个扫描频率的每个数据源配置唯一的扫描名称、扫描范围、集成运行时、扫描触发器频率、扫描规则集和资源集。
- 在创建任何凭据之前,请考虑数据源类型和网络要求。 此信息可帮助你确定方案所需的身份验证方法和集成运行时。
设计建议
在相关 集合中注册源后,请在设置扫描时计划并遵循此示例中显示的顺序。 此流程顺序有助于避免意外成本和返工。
从系统内置的分类规则中确定您的分类要求。 或者根据需要创建特定的自定义分类规则。 它们基于特定的行业、业务或区域要求,这些要求无法开箱即用:
- 请参阅 分类最佳做法。
- 了解如何 创建自定义分类和分类规则。
在配置扫描之前,请创建扫描规则集。 创建扫描规则集时,请确保满足以下几点:
验证系统默认扫描规则集是否足以满足要扫描的数据源。 否则,请定义自定义扫描规则集。
自定义扫描规则集可以包括系统默认规则和自定义规则,因此请清除与正在扫描的数据资产不相关的那些选项。
如有必要,请创建自定义规则集以排除不需要的分类标签。 例如,系统规则集包含全球的通用政府代码模式,而不仅仅是美国。 你的数据可能与某些其他类型的模式相匹配,例如“比利时驾照号码”。
将自定义分类规则限制为 最重要 和 最相关的 标签,以避免混乱。 您不希望将太多标签标记到资产。
如果修改自定义分类或扫描规则集,则会触发全面扫描。 适当地配置分类和扫描规则集,以避免返工和成本高昂的全面扫描。
注意
扫描存储帐户时,Microsoft Purview 使用一组已定义模式来确定一组资产是否构成资源集。 可以使用资源集模式规则来自定义或替代 Microsoft Purview 检测哪些资产分组为资源集的方式。 这些规则还确定资产在目录中的显示方式。 有关详细信息,请参阅 创建资源集模式规则。 此功能具有成本考虑。 有关信息,请参阅 Microsoft Purview 定价网站。
为注册的数据源设置扫描。 - 扫描名称:默认情况下,Microsoft Purview 使用命名约定 SCAN-[A-Z][a-z][a-z],这在你尝试标识运行的扫描时没有帮助。 使用有意义的命名约定。 例如,您可以将扫描环境 源频率时间 命名为 DEVODS-Daily-0200。 此名称表示 0200 时的每日扫描。
身份验证:Microsoft Purview 提供各种身份验证方法来扫描数据源,具体取决于源类型。 它可以是 Azure 云、本地或非 Microsoft 源。 按以下优先顺序遵循身份验证方法的最低特权原则:
- Microsoft Purview MSI - 托管服务标识 (例如,对于 Azure Data Lake Storage Gen2 源)
- 用户分配的托管标识
- 服务主体
- 例如,对于本地或 Azure SQL 源的 SQL 身份验证 ()
- 例如,对于 SAP S/4HANA 源 (帐户密钥或基本身份验证)
有关详细信息,请参阅管理 凭据的操作指南。
注意
如果为存储帐户启用防火墙,则必须在设置扫描时使用托管标识身份验证方法。 设置新凭证时,凭据名称只能包含 字母、数字、下划线和连字符。
集成运行时
- 有关详细信息,请参阅 网络体系结构最佳做法。
- 如果删除了自承载集成运行时 (SHIR) ,则依赖它的任何正在进行的扫描都将失败。
- 使用 SHIR 时,请确保内存足以用于扫描的数据源。 例如,使用 SHIR 扫描 SAP 源时,如果看到“内存不足错误”:
- 确保 SHIR 计算机有足够的内存。 建议的容量为 128 GB。
- 在扫描设置中,将可用的最大内存设置为适当的值,例如 100。
- 有关详细信息,请参阅 扫描和管理 SAP ECC 中的先决条件 Microsoft Purview。
范围扫描
- 设置扫描范围时,请仅选择在细化级别或父级别相关的资产。 这种做法可确保扫描成本最佳且性能高效。 如果完全或部分检查某个父项下的所有未来资产,则自动选择该父项下的所有未来资产。
- 某些数据源的一些示例:
- 对于 Azure SQL 数据库或 Data Lake Storage Gen2,可以将扫描范围限定到数据源的特定部分。 在列表中选择相应的项目,如文件夹、子文件夹、集合或架构。
- 对于 Oracle、Hive 元存储数据库和 Teradata 源,可以指定要通过分号分隔值或架构名称模式导出的特定架构列表。
- 对于 Google Big 查询,您可以指定要通过分号分隔值导出的数据集的特定列表。
- 当您为整个 AWS 账户创建扫描时,您可以选择要扫描的特定存储桶。 为特定 AWS S3 存储桶创建扫描时,可以选择要扫描的特定文件夹。
- 对于 Erwin,可以通过提供以分号分隔的 Erwin 模型定位器字符串列表来限定扫描范围。
- 对于 Cassandra,可以指定要通过分号分隔值或键空格名称模式导出的关键空格的特定列表。
- 对于 Looker,您可以通过提供以分号分隔的 Looker 项目列表来确定扫描范围。
- 对于 Power BI 租户,只能指定是包括还是排除个人工作区。
- 通常,在支持它们的地方使用 忽略模式 ,基于通配符 (例如,对于数据湖) 排除临时、配置文件、RDBMS 系统表或备份或 STG 表。
- 扫描文档或非结构化数据时,请避免扫描大量此类文档。 扫描处理此类文档的前 20 MB,可能会导致更长的扫描持续时间。
扫描规则集
- 选择扫描规则集时,请确保配置之前创建的相关系统或自定义扫描规则集。 - 您可以创建自定义文件类型并相应地填写详细信息。 目前,Microsoft Purview 仅支持自定义分隔符中的一个字符。 如果在实际数据中使用自定义分隔符(如 ~),则需要创建新的扫描规则集。
扫描类型和计划
- 您可以将扫描过程配置为运行完整或增量扫描。
- 在非工作时段或非高峰时段运行扫描,以避免源上的任何处理过载。
- 初始扫描是完整扫描,后续的每次扫描都是增量扫描。 您可以将后续扫描安排为定期增量扫描。 详细了解支持的 计划选项。
- 扫描频率应与数据源的更改管理计划或业务需求保持一致。 例如:
- 如果源结构可能每周更改一次,则扫描频率应同步。更改包括添加、修改或删除的新资产或资产中的字段。
- 如果分类或敏感度标签需要每周更新一次(可能是出于监管原因),扫描频率应为每周一次。 - 如果源数据湖中每周都会添加分区文件,则可以安排每月扫描。 无需计划每周扫描,因为元数据没有变化。 此建议假定没有新的分类方案。
- 扫描可以运行的最长持续时间为 7 天,可能是因为内存问题。 此时间段不包括引入过程。 如果 7 天后进度未更新,扫描将标记为失败。 引入 (到目录) 过程当前没有任何此类限制。
取消扫描
- 目前,仅当触发扫描后扫描状态从“已排队”转换为“正在进行”状态时,才能取消或暂停扫描。
- 不支持取消单个子扫描。
注意事项
- 如果在运行扫描后从源系统中删除字段、列、表或文件,则 Microsoft Purview 仅在下一次计划的完全扫描或增量扫描后显示删除的内容。
- 可以通过在资产名称下选择“删除 ” ,从 Microsoft Purview 目录中删除资产。 此操作不会删除源中的对象。 如果在同一源上运行完整扫描,那么扫描会重新引入目录中的对象。 如果运行增量扫描,则除非在源上修改对象,否则不会选取已删除的资产。 例如,是否在表中添加或删除列。
- 若要了解通过经典 Microsoft Purview 治理门户 手动 编辑数据资产或基础架构后的后续扫描行为,请参阅 经典目录资产详细信息。
- 有关详细信息,请参阅 如何查看、编辑和删除资产。