将结构化文件转换为 Delta 表

使用快捷转换将结构化文件转换为可查询的 Delta 表。 如果源数据已采用 CSV、Parquet、JSON 或 Excel 等表格格式,则文件转换会自动复制数据并将其转换为 Delta Lake 格式,以便无需生成 ETL 管道即可使用 SQL、Spark 或 Power BI 对其进行查询。

有关需要 AI 处理的非结构化文本文件(如摘要、翻译或情绪分析),请参阅快捷方式转换(AI 提供支持)。

快捷转换始终与源数据 保持同步 。 Fabric Spark 计算 执行转换,并将 OneLake 快捷方式引用的数据复制到托管 Delta 表中。 借助自动架构处理、深度平展功能和对多种压缩格式的支持,快捷转换消除了生成和维护 ETL 管道的复杂性。

为何使用快捷转换?

  • 自动转换 – Fabric 在无需进行手动管道编排的情况下将源文件复制并转换为 Delta 格式。
  • 频繁同步 – Fabric 每两分钟轮询一次快捷方式,并同步更改。
  • 递归文件夹发现 – Fabric 会自动遍历子文件夹,以检测和转换整个目录层次结构中的文件。
  • Delta Lake 输出 – 生成的表与任何 Apache Spark 引擎兼容。
  • 继承的治理 – 快捷方式继承 OneLake 世系、权限和Microsoft Purview 策略。

先决条件

要求 详细信息
织物 SKU 支持 Lakehouse 工作负载的容量或体验版。
源数据 包含同质 CSV、Parquet、JSON 或 Excel 文件的文件夹。
工作区角色 参与者 或更高级别。

支持的文件格式

快捷转换适用于 OneLake 中快捷方式支持的任何数据源中的文件夹。

源文件格式 支持的扩展 支持的压缩类型 支持的快捷方式类型 备注
CSV (UTF-8、UTF-16) .csv、.txt(分隔符)、.tsv(制表符分隔)、.psv(竖线分隔) .csv.gz、.csv.bz2 表格快捷方式 .csv.zip 和 .csv.snappy 不受支持。
Parquet .parquet .parquet.snappy、.parquet.gzip、.parquet.lz4、.parquet.brotli、.parquet.zstd 表格快捷方式 没有。
JSON .json、.jsonl、.ndjson .json.gz、.json.bz2、.jsonl.gz、.ndjson.gz、.jsonl.bz2、.ndjson.bz2 表格快捷方式 .json.zip 和 .json.snappy 不受支持。
Excel .xlsx、.xls 不適用 表快捷键或模式快捷方式 表快捷方式将工作表合并到一个 Delta 表中。 架构简化功能为每个表格创建一个 Delta 表。 .xls (旧二进制格式)是尽力支持的: .xlsx 是建议的格式。

注释

Excel 文件转换目前为 预览版。 CSV、Parquet 和 JSON 转换已正式发布。

通过数据转换创建一个表的快捷方式

表快捷方式在 Lakehouse 的 Tables 文件夹中创建一个 Delta 表。 使用它转换 CSV、Parquet、JSON 或 Excel 文件。

对于包含多个工作表的 Excel 文件,表格快捷方式将所选工作表合并到一个 Delta 表中。 如果每个工作表需要一个 Delta 表,请改为创建 架构快捷方式。

  1. 在 Lakehouse 中,右键单击 “表” 文件夹下的架构,然后选择“ 新建表”快捷方式。 选择快捷源,例如 Azure Data Lake、Azure Blob 存储、Dataverse、Amazon S3、GCP、SharePoint 或 OneDrive。

    显示创建“表快捷方式”的屏幕截图。

  2. 选择包含 CSV、Parquet 或 JSON 文件的文件夹,或选择包含 .xlsx 文件的文件夹。

  3. 在 转换 步骤中,配置 Delta 转换的设置:

    • CSV 文件:

      • 分隔符 – 选择用于分隔列的字符,例如逗号、分号、管道、制表符、和号或空格。
      • 第一行作为标题 - 指示第一行是否包含列名。
    • Excel 文件:

      • 第一行作为标题 - 指示第一行是否包含列名。
      • 要包含的工作表 – 选择所有工作表或仅选择工作表的子集。 可以通过工作表名称、索引或使用通配符模式来选择工作表(例如,Sales_* 可以匹配诸如 Sales_Q1 和 Sales_2026 这样的工作表)。 通配符匹配不区分大小写。
  4. 查看快捷方式配置。 在 预览快捷方式 步骤中,还可以在选择“ 创建”之前配置这些设置:

    • 快捷名称 – 选择铅笔图标以编辑快捷方式名称。
    • 包括子文件夹 – 启用嵌套子目录中文件的递归处理。 对于新转换,此选项默认处于选中状态。 如果只想处理顶级文件夹,请清除该复选框。
  5. 在 “管理快捷方式监视中心”中跟踪刷新和查看日志。

Fabric Spark 计算将创建 Delta 表,并在 “管理”快捷 窗格中显示进度。

对于 Excel 文件,生成的 Delta 表包括 __filepath__ 和 __sheetname__ 元数据列,以便可以将每一行跟踪回其源文件和工作表。

使用数据转换创建架构快捷方式

架构快捷方式创建多个 Delta 表,这些表显示在 lakehouse 的 Tables 文件夹中的新架构下。 当 Excel 工作簿包含多个工作表,并且每个工作表需要一个 Delta 表时,请使用它。

具有数据转换的架构快捷方式目前仅适用于 Excel(.xlsx) 文件。 它们还需要启用了架构的 Lakehouse。 有关详细信息,请参阅 Lakehouse 架构。

  1. 在 Lakehouse 中,右键单击 “表” 文件夹,然后选择“ 新建架构快捷方式”。

    显示创建“架构快捷方式”的屏幕截图。

  2. 选择此快捷方式的数据源,然后导航到包含 .xlsx 文件的文件夹。

  3. 在 转换 步骤中,配置 Delta 转换的设置:

    • 第一行作为标题 - 指示第一行是否包含列名。
    • 要包含的工作表 – 选择所有工作表或仅选择工作表的子集。 可以按名称、索引或使用通配符模式选择工作表。

    显示架构快捷方式的转换选项的屏幕截图。

  4. 查看快捷方式配置。 在 预览快捷方式 步骤中,还可以在选择“ 创建”之前配置这些设置:

    • 快捷名称 – 选择铅笔图标以编辑快捷方式名称。
    • 包括子文件夹 – 启用嵌套子目录中文件的递归处理。 对于新转换,此选项默认处于选中状态。 如果只想处理顶级文件夹,请清除该复选框。
  5. 在 “管理快捷方式监视中心”中跟踪刷新和查看日志。

Fabric Spark 计算为所选工作表创建单独的 Delta 表,并将它们与源文件保持同步。 工作表名称会自动调整为合法的表名。 例如,名为 Sales Data (Q1) 的工作表变为 Sales_Data_Q1。

同步的工作原理

初始加载后,Fabric Spark 计算:

  • 每两分钟轮询一次快捷目标。
  • 检测 新的或修改的文件 ,并相应地追加或覆盖行。
  • 检测 已删除的文件 并删除相应的行。

启用子文件夹支持后,系统以递归方式发现并处理目标文件夹中所有嵌套子目录的文件。

监视并排查

快捷转换包括监视和错误处理,以帮助跟踪引入状态和诊断问题。

  1. 打开 Lakehouse 并右键单击支撑您转换的快捷方式。

  2. 选择“ 管理快捷方式”。

  3. 在详细信息窗格中,可以查看:

    • 状态 – 上次扫描结果和当前同步状态。

    • 刷新历史记录 – 按时间顺序排列的同步操作列表,其中包括行计数和任何错误详细信息。

    • 包括子文件夹 – 指示是否启用子文件夹转换(是 还是 否)。

      显示用于查看转换状态的“监视中心”的屏幕截图。

  4. 在日志中查看更多详细信息,以便进行故障排除。

    显示如何访问“日志文件”进行故障排除的屏幕截图。

局限性

以下限制目前适用于快捷转换。

一般限制

  • 源格式: CSV、JSON、Parquet 和 Excel 文件受支持。
  • 文件架构一致性: 文件必须共享相同的架构。
  • 工作区可用性: 仅在 Lakehouse 项(而不是数据仓库或 KQL 数据库)中可用。
  • 写入操作: 转换经过 读取优化。 不支持转换目标表上的直接 MERGE INTO 或 DELETE 语句。
  • 架构快捷方式可用性: 文件转换的架构快捷方式仅支持 Excel 文件。

CSV 限制

  • 不支持的数据类型: 复杂逻辑类型 - MAP/LIST/STRUCT、原始二进制文件。

JSON 限制

  • 平展数组数据类型: 数组数据类型保留在 Delta 表中,可通过 Spark SQL 和 PySpark 进行访问。 对于进一步的转换,请对银层使用 Fabric Materialized Lake Views。
  • 平展深度: 嵌套结构平展到五层深。 更深入的嵌套需要预处理。

Excel 限制

  • 单元格区域: 数据始终从单元格 A1 开始读取。 数据从其他单元格开始或使用命名表或区域的工作簿不能作为目标。
  • 跳过行: 无法排除实际数据上方或下方的标题横幅、元数据前言和页脚摘要。 它们作为数据行被录入。
  • 架构推理: 始终为 Excel 文件启用架构推理。 带有前导零的标识符(例如 02134 中的邮政编码或 001245 中的员工 ID)会被转换为整数,从而去除前导零。
  • 隐藏的工作表: 除非通过名称或索引进行显式筛选,否则会处理所有工作表,包括隐藏工作表和系统工作表。
  • 货币格式: 货币格式的单元格(例如, $1,234.56)转换为纯数值。 货币符号被剥离。
  • 敏感度标签: 无法处理具有Microsoft Purview 敏感度标签的工作簿。
  • 损坏的行: Excel 阅读器不支持损坏的记录隔离。 工作表中损坏或类型不匹配的行不能单独隔离和记录。
  • 工作表限制: 跳过超过 25 张工作表的文件。
  • 旧格式:.xls (旧二进制格式)是尽力支持的,并且可能会降低复杂格式的保真度。 .xlsx 是建议的格式。
  • 公式求值: Spark 读取公式单元格的缓存值。 如果工作簿未保存计算后的数值,公式单元格可能会显示为空或内容过时。

子文件夹限制

  • 仅适用于新转换。 现有转换无法启用子文件夹支持。
  • 启用子文件夹支持后,无法禁用它。
  • 目标文件夹内的嵌套快捷方式不会被处理。 仅处理物理文件夹和文件。
  • 不支持选择性包含或排除特定子文件夹。
  • 嵌套文件夹不适用于 SharePoint 快捷方式。

使用 Fabric 路线图 和 Fabric 更新博客 了解新功能和版本。

清理

若要停止同步,请从 Lakehouse 资源管理器中删除快捷方式转换。

删除转换不会删除基础文件。