可以使用分类将文档分类为使用 AI 的预定义类别。
分类示例包括:
- 按意图对客户通话记录进行分类
- 按内容类型对文档进行分类
- 按情绪对产品评论进行分类
分类可以通过 Agent Bricks UI、 SQL 格式、 REST API 以及 异步 API (测试版)实现。
在用户界面中创建一个分类代理
Requirements
- 包含以下内容的工作区:
- 已启用无服务器计算。 请参阅 无服务器计算要求。
- 启用了 Unity Catalog。 请参阅为工作区启用 Unity Catalog。
- 获取有非零预算的无服务器使用策略。
- 此函数仅在某些区域中可用,请参阅 AI 函数可用性。
- 对于具有增强安全与合规附加组件的工作区,
- 请参阅
ai_classify的区域支持情况,以了解相应的 合规性标准。 - 有关如何在工作区上启用预览版,请参阅“管理Azure Databricks预览”。
- 请参阅
- 能够使用
ai_classifySQL 函数。 - 要分类的非结构化数据。 数据必须位于 Unity 目录卷或表中。
- 若要生成代理,需要在 Unity 目录卷或表中的 1 行中至少有 1 个未标记的文档。
转到工作区左侧导航窗格中的代理。 单击“ 创建代理”,然后选择 “文本分类”。
步骤 1。 选择源数据
使用分类对文档进行分类。
选择源数据。 可以选择包含文档的卷或包含文本数据的表。
单击“ 创建代理”。
步骤 2。 配置分类标签
分类处理数据后,配置和优化分类标签。
手动添加分类标签:
- 单击“ + 添加标签” 以添加分类标签。
- 输入标签名称和可选说明,然后单击“ 添加标签”。
- 对要添加的每个标签重复 1-2。
- (可选)如果希望代理返回多个标签,请启用多个 标签 。
若要从表导入标签,请执行以下操作:
- 单击 “从表中导入”。
- 选择该表,然后单击“ 下一步”。
- 选择标签列、说明列和 SQL 仓库。
- 单击 “预览 ”以查看导入的标签。
- 如果对标签感到满意,请单击“ 导入”并替换标签。
必须至少定义两个标签才能运行分类。 添加完标签后,点击保存并运行分类。
要配置其他选项,请点击块图标,保存并运行分类旁边的选项切换按钮 ,然后启用以下一个或多个选项:
- 置信度评分:显示预测标签的置信水平。
- 理由:显示预测标签的依据。
分类将最多 5 个文档和行分类并显示结果。 还可以添加更多内容。
步骤 3。 查看和改进分类响应
查看分类响应并提供反馈以改进智能体。
查看文档和分类响应:
- 如果响应正确,请竖起大拇指。
- 如果响应不正确,请点踩。 通过选择正确的标签来帮助分类修复响应。 单击“ 保存”。
若要改进代理的响应,请调整分类标签说明。
比较版本以优化代理的性能。 单击 “版本”。 在以前的版本旁边,单击“ 比较 ”,将以前版本的分类标签说明与当前版本进行比较。 单击 “还原 ”以还原以前的版本。
步骤 4. 使用分类代理
如果对响应感到满意,请开始使用代理进行大规模分类。
单击右上角的使用代理人。 可以选择以下任一项:
-
在 SQL 中运行以使用该智能体对整个卷或表进行分类。 这会打开使用定义的分类标签的 SQL 查询
ai_classify。 有关在 SQL 查询中使用ai_classify的详细信息,请参阅ai_classify函数。 - 创建一个按计划间隔运行的 Lakeflow 流水线,以便对新数据调用代理。 这会创建一个 Lakeflow 管道,该管道使用已分类数据更新流式表。 可以配置管道的计划,使其在有新数据到达时自动运行。 有关 Lakeflow 管道的更多信息,请参见 Lakeflow 上的 Spark Declarative Pipelines。
在SQL中分类文档
调用 ai_classify SQL来大规模分类文档:
SELECT ai_classify(
'My password is leaked.',
'["urgent", "not_urgent"]',
MAP('version', '2.1')
);
请参见 ai_classify SQL 参考。
使用 REST API 分类文档
使用 REST API 来分类应用程序、服务和自动化工作流程中的文档。 参考 REST API 文档 。
REST API 请求的默认速率上限 ai_classify 是每个工作区每分钟 1,200 个请求。 请联系您的Databricks账户团队,申请更高的限额。
以下示例对客户支持消息进行了分类:
curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-classify" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"content": "My password is leaked.",
"labels": ["urgent", "not_urgent"],
"options": {
"instructions": "Classify the support request by urgency."
}
}'
使用异步 API(测试版)分类文档
使用 AI Functions 异步 API(测试版)在一个批次中对大量文本进行分类。 关于请求和响应字段,以及取消和列出批次的请求,请参见 异步 API 参考。 工作区管理员必须在预览页面开启 AI 功能异步 API 预览。
Note
若要在作业中对 Unity Catalog 表的行进行分类,可以改用ai_classify任务(Beta 版)。 任务会帮你读取和写入 Unity 目录表,每次运行只处理新建或更改的行。
要用异步API对文本进行分类:
创建一个JSONL输入文件,每个文本一行。 每行都有唯一的
custom_id和body.text中的文本:{"custom_id": "ticket-001", "body": {"text": "My password is leaked."}} {"custom_id": "ticket-002", "body": {"text": "How do I change my billing address?"}}将输入文件上传到Unity Catalog卷,例如使用 Files API。
创建一个批处理,运行
ai_classify在输入文件上。params中的labels和options适用于每一行,而output_ref是结果的卷目录:curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \ -H "Authorization: Bearer $DATABRICKS_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "endpoint": "ai_classify", "input_ref": "/Volumes/my_catalog/my_schema/my_volume/requests.jsonl", "params": { "labels": ["urgent", "not_urgent"], "options": { "instructions": "Classify the support request by urgency." } }, "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/" }'响应包含批次
name。 在接下来的步骤中,用它代替<batch-name>。检查批次状态。 当
status为COMPLETED、CANCELLED或FAILED时,批次已完成:curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \ -H "Authorization: Bearer $DATABRICKS_TOKEN"当输出文件准备好时,响应中的
output_ref包含其路径。使用文件 API 下载输出文件:
curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \ -H "Authorization: Bearer $DATABRICKS_TOKEN" \ -o output.jsonl
输出文件中的每一行都对应输入文件中的一行。 这些行的顺序和输入文件相同。 每行包含其请求的 custom_id 以及以下字段之一:
-
response:请求的结果。 它的字段与 AI Classify REST API 响应相同。 -
error:如果请求失败,则为错误的type和message。
以下示例显示了成功的请求和失败请求的行:
{"custom_id": "ticket-001", "response": {...}}
{"custom_id": "ticket-002", "error": {"type": "request_failed", "message": "..."}}
Limitations
请参阅 限制