使用快捷转换将结构化文件转换为可查询的 Delta 表。 如果源数据已采用 CSV、Parquet、JSON 或 Excel 等表格格式,则文件转换会自动复制数据并将其转换为 Delta Lake 格式,以便无需生成 ETL 管道即可使用 SQL、Spark 或 Power BI 对其进行查询。
有关需要 AI 处理的非结构化文本文件(如摘要、翻译或情绪分析),请参阅快捷方式转换(AI 提供支持)。
快捷转换始终与源数据 保持同步 。 Fabric Spark 计算 执行转换,并将 OneLake 快捷方式引用的数据复制到托管 Delta 表中。 借助自动架构处理、深度平展功能和对多种压缩格式的支持,快捷转换消除了生成和维护 ETL 管道的复杂性。
为何使用快捷转换?
- 自动转换 – Fabric 在无需进行手动管道编排的情况下将源文件复制并转换为 Delta 格式。
- 频繁同步 – Fabric 每两分钟轮询一次快捷方式,并同步更改。
- 递归文件夹发现 – Fabric 会自动遍历子文件夹,以检测和转换整个目录层次结构中的文件。
- Delta Lake 输出 – 生成的表与任何 Apache Spark 引擎兼容。
- 继承的治理 – 快捷方式继承 OneLake 世系、权限和Microsoft Purview 策略。
先决条件
| 要求 | 详细信息 |
|---|---|
| 织物 SKU | 支持 Lakehouse 工作负载的容量或体验版。 |
| 源数据 | 包含同质 CSV、Parquet、JSON 或 Excel 文件的文件夹。 |
| 工作区角色 | 参与者 或更高级别。 |
支持的文件格式
快捷转换适用于 OneLake 中快捷方式支持的任何数据源中的文件夹。
| 源文件格式 | 支持的扩展 | 支持的压缩类型 | 支持的快捷方式类型 | 备注 |
|---|---|---|---|---|
| CSV (UTF-8、UTF-16) |
.csv、.txt(分隔符)、.tsv(制表符分隔)、.psv(竖线分隔) |
.csv.gz、.csv.bz2 |
表格快捷方式 |
.csv.zip 和 .csv.snappy 不受支持。 |
| Parquet | .parquet |
.parquet.snappy、.parquet.gzip、.parquet.lz4、.parquet.brotli、.parquet.zstd |
表格快捷方式 | 没有。 |
| JSON |
.json、.jsonl、.ndjson |
.json.gz、.json.bz2、.jsonl.gz、.ndjson.gz、.jsonl.bz2、.ndjson.bz2 |
表格快捷方式 |
.json.zip 和 .json.snappy 不受支持。 |
| Excel |
.xlsx、.xls |
不適用 | 表快捷键或模式快捷方式 | 表快捷方式将工作表合并到一个 Delta 表中。 架构简化功能为每个表格创建一个 Delta 表。
.xls (旧二进制格式)是尽力支持的: .xlsx 是建议的格式。 |
注释
Excel 文件转换目前为 预览版。 CSV、Parquet 和 JSON 转换已正式发布。
通过数据转换创建一个表的快捷方式
表快捷方式在 Lakehouse 的 Tables 文件夹中创建一个 Delta 表。 使用它转换 CSV、Parquet、JSON 或 Excel 文件。
对于包含多个工作表的 Excel 文件,表格快捷方式将所选工作表合并到一个 Delta 表中。 如果每个工作表需要一个 Delta 表,请改为创建 架构快捷方式。
在 Lakehouse 中,右键单击 “表” 文件夹下的架构,然后选择“ 新建表”快捷方式。 选择快捷源,例如 Azure Data Lake、Azure Blob 存储、Dataverse、Amazon S3、GCP、SharePoint 或 OneDrive。
选择包含 CSV、Parquet 或 JSON 文件的文件夹,或选择包含 .xlsx 文件的文件夹。
在 转换 步骤中,配置 Delta 转换的设置:
CSV 文件:
- 分隔符 – 选择用于分隔列的字符,例如逗号、分号、管道、制表符、和号或空格。
- 第一行作为标题 - 指示第一行是否包含列名。
Excel 文件:
- 第一行作为标题 - 指示第一行是否包含列名。
-
要包含的工作表 – 选择所有工作表或仅选择工作表的子集。 可以通过工作表名称、索引或使用通配符模式来选择工作表(例如,
Sales_*可以匹配诸如Sales_Q1和Sales_2026这样的工作表)。 通配符匹配不区分大小写。
查看快捷方式配置。 在 预览快捷方式 步骤中,还可以在选择“ 创建”之前配置这些设置:
- 快捷名称 – 选择铅笔图标以编辑快捷方式名称。
- 包括子文件夹 – 启用嵌套子目录中文件的递归处理。 对于新转换,此选项默认处于选中状态。 如果只想处理顶级文件夹,请清除该复选框。
在 “管理快捷方式监视中心”中跟踪刷新和查看日志。
Fabric Spark 计算将创建 Delta 表,并在 “管理”快捷 窗格中显示进度。
对于 Excel 文件,生成的 Delta 表包括 __filepath__ 和 __sheetname__ 元数据列,以便可以将每一行跟踪回其源文件和工作表。
使用数据转换创建架构快捷方式
架构快捷方式创建多个 Delta 表,这些表显示在 lakehouse 的 Tables 文件夹中的新架构下。 当 Excel 工作簿包含多个工作表,并且每个工作表需要一个 Delta 表时,请使用它。
具有数据转换的架构快捷方式目前仅适用于 Excel(.xlsx) 文件。 它们还需要启用了架构的 Lakehouse。 有关详细信息,请参阅 Lakehouse 架构。
在 Lakehouse 中,右键单击 “表” 文件夹,然后选择“ 新建架构快捷方式”。
选择此快捷方式的数据源,然后导航到包含
.xlsx文件的文件夹。在 转换 步骤中,配置 Delta 转换的设置:
- 第一行作为标题 - 指示第一行是否包含列名。
- 要包含的工作表 – 选择所有工作表或仅选择工作表的子集。 可以按名称、索引或使用通配符模式选择工作表。
查看快捷方式配置。 在 预览快捷方式 步骤中,还可以在选择“ 创建”之前配置这些设置:
- 快捷名称 – 选择铅笔图标以编辑快捷方式名称。
- 包括子文件夹 – 启用嵌套子目录中文件的递归处理。 对于新转换,此选项默认处于选中状态。 如果只想处理顶级文件夹,请清除该复选框。
在 “管理快捷方式监视中心”中跟踪刷新和查看日志。
Fabric Spark 计算为所选工作表创建单独的 Delta 表,并将它们与源文件保持同步。 工作表名称会自动调整为合法的表名。 例如,名为 Sales Data (Q1) 的工作表变为 Sales_Data_Q1。
同步的工作原理
初始加载后,Fabric Spark 计算:
- 每两分钟轮询一次快捷目标。
- 检测 新的或修改的文件 ,并相应地追加或覆盖行。
- 检测 已删除的文件 并删除相应的行。
启用子文件夹支持后,系统以递归方式发现并处理目标文件夹中所有嵌套子目录的文件。
监视并排查
快捷转换包括监视和错误处理,以帮助跟踪引入状态和诊断问题。
打开 Lakehouse 并右键单击支撑您转换的快捷方式。
选择“ 管理快捷方式”。
在详细信息窗格中,可以查看:
状态 – 上次扫描结果和当前同步状态。
刷新历史记录 – 按时间顺序排列的同步操作列表,其中包括行计数和任何错误详细信息。
包括子文件夹 – 指示是否启用子文件夹转换(是 还是 否)。
在日志中查看更多详细信息,以便进行故障排除。
局限性
以下限制目前适用于快捷转换。
一般限制
- 源格式: CSV、JSON、Parquet 和 Excel 文件受支持。
- 文件架构一致性: 文件必须共享相同的架构。
- 工作区可用性: 仅在 Lakehouse 项(而不是数据仓库或 KQL 数据库)中可用。
- 写入操作: 转换经过 读取优化。 不支持转换目标表上的直接 MERGE INTO 或 DELETE 语句。
- 架构快捷方式可用性: 文件转换的架构快捷方式仅支持 Excel 文件。
CSV 限制
- 不支持的数据类型: 复杂逻辑类型 - MAP/LIST/STRUCT、原始二进制文件。
JSON 限制
- 平展数组数据类型: 数组数据类型保留在 Delta 表中,可通过 Spark SQL 和 PySpark 进行访问。 对于进一步的转换,请对银层使用 Fabric Materialized Lake Views。
- 平展深度: 嵌套结构平展到五层深。 更深入的嵌套需要预处理。
Excel 限制
- 单元格区域: 数据始终从单元格 A1 开始读取。 数据从其他单元格开始或使用命名表或区域的工作簿不能作为目标。
- 跳过行: 无法排除实际数据上方或下方的标题横幅、元数据前言和页脚摘要。 它们作为数据行被录入。
-
架构推理: 始终为 Excel 文件启用架构推理。 带有前导零的标识符(例如
02134中的邮政编码或001245中的员工 ID)会被转换为整数,从而去除前导零。 - 隐藏的工作表: 除非通过名称或索引进行显式筛选,否则会处理所有工作表,包括隐藏工作表和系统工作表。
-
货币格式: 货币格式的单元格(例如,
$1,234.56)转换为纯数值。 货币符号被剥离。 - 敏感度标签: 无法处理具有Microsoft Purview 敏感度标签的工作簿。
- 损坏的行: Excel 阅读器不支持损坏的记录隔离。 工作表中损坏或类型不匹配的行不能单独隔离和记录。
- 工作表限制: 跳过超过 25 张工作表的文件。
-
旧格式:
.xls(旧二进制格式)是尽力支持的,并且可能会降低复杂格式的保真度。.xlsx是建议的格式。 - 公式求值: Spark 读取公式单元格的缓存值。 如果工作簿未保存计算后的数值,公式单元格可能会显示为空或内容过时。
子文件夹限制
- 仅适用于新转换。 现有转换无法启用子文件夹支持。
- 启用子文件夹支持后,无法禁用它。
- 目标文件夹内的嵌套快捷方式不会被处理。 仅处理物理文件夹和文件。
- 不支持选择性包含或排除特定子文件夹。
- 嵌套文件夹不适用于 SharePoint 快捷方式。
使用 Fabric 路线图 和 Fabric 更新博客 了解新功能和版本。
清理
若要停止同步,请从 Lakehouse 资源管理器中删除快捷方式转换。
删除转换不会删除基础文件。