重要
仅停用 Microsoft Purview 数据治理功能
Microsoft Purview 统一目录和经典 Microsoft Purview 数据治理功能 (以前称为 Azure Purview) 即将停用。 Microsoft Purview 整体未停用。 Microsoft Purview 数据安全性和合规性功能不受此公告的影响,Microsoft 将继续对其进行投资。
Microsoft 正在 Microsoft Fabric 中整合其 数据治理 功能。 无法再创建新的 Microsoft Purview 数据治理帐户,现有数据治理功能将在 2027 年 11 月 12 日前保持维护模式。
有关停用时间表、过渡指南和建议的后续步骤,请参阅 Microsoft Purview 数据治理停用公告。
Microsoft Purview 数据映射中的数据分类是一种通过向数据资产分配唯一的逻辑标签或类来对数据资产进行分类的方法。 分类基于数据的业务上下文。 例如,您可以按 护照号码、 驾驶执照号码、 信用卡号码、 SWIFT 代码、 人员姓名等对资产进行分类。 详细了解 数据图中的数据分类。
本文介绍了在对数据资产进行分类时要采用的最佳实践,以便您的扫描更加有效,并尽可能获得有关整个数据资产的最完整信息。
扫描规则集
通过使用 扫描规则集,您可以配置应应用于数据源的特定扫描的相关分类。 选择相关的系统分类,如果已为正在扫描的数据创建自定义分类,请选择自定义分类。
例如,在下图中,只有所选的特定系统和自定义分类才会应用于你正在扫描的数据源 (例如财务数据) 。
注释管理
在决定要应用的分类时,我们建议你:
转到 “数据映射>注释管理>分类 ”窗格。
查看要应用于正在扫描的数据资产的可用系统分类。 系统分类的正式名称具有 MICROSOFT 前缀。
如有必要,请创建自定义分类。 选择“ 自定义 ”选项卡,然后选择“ + 新建”。 了解如何 创建自定义分类。
为在上一步中创建的自定义分类创建分类规则。 转至 数据图>注释管理>分类规则。 在这里,您可以为在上一步中创建的自定义分类名称创建分类规则。
自定义分类
仅当可用的系统分类无法满足你的需求时,才创建自定义分类。
对于自定义分类的名称,最好使用命名空间约定 (例如“公司名称>”<。<业务部门>。<自定义分类名称>) 。
例如,对于虚构公司 Contoso 的自定义EMPLOYEE_ID分类,自定义分类的名称为 CONTOSO.HR。EMPLOYEE_ID,并且友好名称作为 HR 存储在系统中。员工 ID。
创建和配置自定义分类的分类规则时,请执行以下操作:
选择要为其创建分类规则的相应分类名称。
Microsoft Purview 数据映射支持以下两种创建自定义分类规则的方法:
使用 正则表达式 方法:
为要分类的数据配置正则表达式模式。 确保正则表达式模式足够通用,能够满足要分类的数据的需求。
Microsoft Purview 还提供了生成建议的正则表达式模式的功能。 上传示例数据文件后,选择建议的模式之一,然后选择 添加到模式 以使用建议的数据和列模式。 您可以修改建议的模式,也可以键入自己的模式,而无需上传文件。
还可以配置列名称模式,以便对列进行分类,以最大程度地减少误报。
配置与数据模式匹配的数据可接受的 最小匹配阈值 参数,以应用分类。 阈值可以是 1% 到 100%。 建议将值至少设置为 60% 以避免误报。 但是,您可以根据需要针对特定的分类方案进行配置。 例如,如果要检测数据中的任何值并应用与模式匹配的分类,则阈值可能低至 1%。
如果将多个数据模式添加到分类规则中,则设置最小匹配规则的选项将自动禁用。
使用 测试分类规则 并使用示例数据进行测试,以验证分类规则是否按预期工作。 例如,确保在示例数据 (中,在 .csv 文件) 中至少存在三列,包括要应用分类的列。 如果测试成功,应在列上看到分类标签,如下图所示:
使用 字典 方法:
可以使用 Dictionary 方法来拟合枚举数据,或者在可能值的字典列表可用时使用。
此方法支持 .csv 和 .tsv 文件,文件大小限制为 30 MB (MB) 。
自定义分类原型
“threshold”参数在正则表达式中的工作原理
请考虑下图中的示例源数据。 共有 5 列,自定义分类规则应应用于数据模式 N{Digit}{Digit}{Digit}AN 的列 Sample_col1、Sample_col2 和 Sample_col3。
自定义分类名为 NDDDAN。
数据模式) 的正则表达式 (分类规则为 ^N[0-9]{3}AN$。
将为 “^N[0-9]{3}AN$” 模式计算阈值,如下图所示:
如果阈值为 55%,则仅对列 Sample_col1 和 Sample_col2 进行分类。 Sample_col3 不会被分类,因为它不符合 55% 阈值条件。
如何使用数据和列模式
对于给定的示例数据,其中列 B 和列 C 具有相似的数据模式,您可以根据数据模式 “^P[0-9]{3}[A-Z]{2}$” 对列 B 进行分类。
将列模式与数据模式一起使用,确保仅对 “产品 ID ”列进行分类。
注意
列模式通过数据模式验证为 AND 条件。
使用 测试分类规则 并使用示例数据进行测试,以验证分类规则是否按预期工作。
如何使用多列模式
如果同一分类规则要对多个列模式进行分类,请使用管道 (|) 字符分隔的列名。 例如,对于 “产品 ID”、“ Product_ID”、“ 产品 ID”等列,编写如下图所示的列模式:
有关详细信息,请参阅 正则表达式交替构造。
分类注意事项
以下是定义分类时需要牢记的一些注意事项:
若要在扫描之前确定需要将哪些分类应用于资产,请考虑如何使用分类。 对于数据使用者来说,不必要的分类标签可能看起来很杂乱,甚至具有误导性。 使用分类可以:
- 描述正在扫描的数据资产或架构中存在的数据的性质。 换句话说,分类应使客户能够在搜索目录时从分类标签中识别数据资产或架构的内容。
- 设定优先级并制定计划,以满足组织的安全性和合规性需求。
- 描述数据准备过程中的阶段 (原始区域、登陆区域等) ,并将分类分配给特定资产以标记过程中的阶段。
可以通过在扫描规则中包含相关分类来自动在资产或列级别分配分类,也可以在将元数据引入 Microsoft Purview 数据映射后手动分配分类。
有关自动分配,请参阅 Microsoft Purview 数据映射支持的数据存储。
在 Microsoft Purview 数据映射中扫描数据源之前,请务必了解数据并为其配置适当的扫描规则集, (例如,通过选择相关的系统分类、自定义分类或两者的组合) ,因为这可能会影响扫描性能。 有关详细信息,请参阅 Microsoft Purview 数据映射中支持的分类。
Microsoft Purview 扫描程序对深度扫描应用数据采样规则, (受系统和自定义分类的分类) 约束。 抽样规则基于数据源的类型。 有关详细信息,请参阅 “Microsoft Purview 中支持的数据源和文件类型”中的“文件中的采样”部分。
注意
非重复数据阈值:这是在扫描仪对列运行数据模式之前需要在列中找到的不同数据值的总数。 非重复数据阈值与模式匹配无关,但它是模式匹配的先决条件。 系统分类规则要求每列中至少有 8 个不同的值才能对其进行分类。 系统需要此值,以确保列包含足够的数据,以便扫描仪对其进行准确分类。 例如,如果列包含多行且全都包含值 1,则不会进行分类。 如果列包含一行具有值且其余行具有 null 值,则也不会进行分类。 如果指定多个模式,则此值适用于每个模式。
抽样规则也适用于资源集。 有关详细信息,请参阅 Microsoft Purview 数据映射中支持的数据源和文件类型中的“资源集文件采样”部分。
无法使用自定义分类规则将自定义分类应用于文档类型资产。 只能手动应用此类分类。
自定义分类不包含在任何默认扫描规则中。 因此,如果需要自动分配自定义分类,则必须部署并使用包含自定义分类的自定义扫描规则来运行扫描。
如果从 Microsoft Purview 治理门户手动应用分类,则此类分类将保留在后续扫描中。
如果以前检测到资产,即使分类规则不适用,后续扫描也不会从资产中删除任何分类。
对于 加密的源 数据资产,Microsoft Purview 仅会选取文件名、完全限定名称、结构化文件类型的架构详细信息和数据库表。 要使分类正常工作,请在运行扫描之前解密加密数据。