使用非结构化数据

在Unity Catalog中存储、管理和处理非结构化文件,如文档、图片、音频和视频,以及结构化数据。

开始

试着用一个端到尾的例子,看看各个部分如何拼接在一起。

指南 说明
FILE 函数快速启动 创建一个带有 FILE 列的表格,并用 FILE 函数处理文件。
非结构化数据教程 使用Unity Catalog卷存储、查询、处理和共享非结构化文件。

存储和参考文件

根据你是通过路径访问还是以表中的值访问,选择如何存储和引用文件。

方法 说明
Unity Catalog 卷 管理非表格文件的存储。 通过路径上传、整理和访问卷内的文件。
文件类型 将引用文件及其元数据作为表中的一类值,其治理通过引用它们的行的访问权限实现。 关于类型定义,请参见 FILE 类型引用。
二进制数据源 将文件的原始字节存储在列 BINARY 中。
图像数据来源 将图像文件读取到DataFrame中。

进程文件

在你把文件存入 Unity 目录后,提取内容,运行自定义代码,构建管道。

任务 说明
解析文档 借助 ai_parse_document 和其他 AI 功能从文档中提取结构化内容。
带有UDF的进程文件 读取文件元数据和字节,并在 UDF 中使用你自己的代码生成新文件。
将文件作为 FILE 引用导入 将文件作为 FILE 引用加载到表中。
构建文件流水线 在管道中对文件进行端到端处理。
使用 Genie 智能体分析卷中的文件 将卷附加到 Genie 智能体,以便用户可以跨其中包含的文件提问。

治理文件

控制谁可以访问文件并管理其生命周期,使用 Unity Catalog。

能力 说明
音量访问控制 授予对卷的权限,以控制谁可以通过路径读取和写入文件。
文件管理生命周期 让 Azure Databricks 管理表所引用文件的存储和生命周期。
FILE 列上的行筛选器 通过对引用文件的行应用行过滤器来限制访问文件。