Classification

可以使用分类将文档分类为使用 AI 的预定义类别。

分类示例包括:

  • 按意图对客户通话记录进行分类
  • 按内容类型对文档进行分类
  • 按情绪对产品评论进行分类

分类可以通过 Agent Bricks UI、 SQL 格式、 REST API 以及 异步 API (测试版)实现。

在用户界面中创建一个分类代理

Requirements

转到“代理”图标。工作区左侧导航窗格中的代理。 单击“ 创建代理”,然后选择 “文本分类”。

步骤 1。 选择源数据

使用分类对文档进行分类。

  1. 选择源数据。 可以选择包含文档的卷或包含文本数据的表。

  2. 单击“ 创建代理”。

步骤 2。 配置分类标签

分类处理数据后,配置和优化分类标签。

手动添加分类标签:

  1. 单击“ + 添加标签” 以添加分类标签。
  2. 输入标签名称和可选说明,然后单击“ 添加标签”。
  3. 对要添加的每个标签重复 1-2。
  4. (可选)如果希望代理返回多个标签,请启用多个 标签 。

若要从表导入标签,请执行以下操作:

  1. 单击 “从表中导入”。
  2. 选择该表,然后单击“ 下一步”。
  3. 选择标签列、说明列和 SQL 仓库。
  4. 单击 “预览 ”以查看导入的标签。
  5. 如果对标签感到满意,请单击“ 导入”并替换标签。

必须至少定义两个标签才能运行分类。 添加完标签后,点击保存并运行分类。

要配置其他选项,请点击Sliders icon.块图标,保存并运行分类旁边的选项切换按钮 ,然后启用以下一个或多个选项:

  • 置信度评分:显示预测标签的置信水平。
  • 理由:显示预测标签的依据。

分类将最多 5 个文档和行分类并显示结果。 还可以添加更多内容。

分类审查UI显示分类标签和结果

步骤 3。 查看和改进分类响应

查看分类响应并提供反馈以改进智能体。

  1. 查看文档和分类响应:

    • 如果响应正确,请竖起大拇指。
    • 如果响应不正确,请点踩。 通过选择正确的标签来帮助分类修复响应。 单击“ 保存”。
  2. 若要改进代理的响应,请调整分类标签说明。

  3. 比较版本以优化代理的性能。 单击 “版本”。 在以前的版本旁边,单击“ 比较 ”,将以前版本的分类标签说明与当前版本进行比较。 单击 “还原 ”以还原以前的版本。

步骤 4. 使用分类代理

如果对响应感到满意,请开始使用代理进行大规模分类。

单击右上角的使用代理人。 可以选择以下任一项:

  • 在 SQL 中运行以使用该智能体对整个卷或表进行分类。 这会打开使用定义的分类标签的 SQL 查询 ai_classify 。 有关在 SQL 查询中使用 ai_classify 的详细信息,请参阅 ai_classify 函数。
  • 创建一个按计划间隔运行的 Lakeflow 流水线,以便对新数据调用代理。 这会创建一个 Lakeflow 管道,该管道使用已分类数据更新流式表。 可以配置管道的计划,使其在有新数据到达时自动运行。 有关 Lakeflow 管道的更多信息,请参见 Lakeflow 上的 Spark Declarative Pipelines。

在SQL中分类文档

调用 ai_classify SQL来大规模分类文档:

SELECT ai_classify(
  'My password is leaked.',
  '["urgent", "not_urgent"]',
  MAP('version', '2.1')
);

请参见 ai_classify SQL 参考。

使用 REST API 分类文档

使用 REST API 来分类应用程序、服务和自动化工作流程中的文档。 参考 REST API 文档 。

REST API 请求的默认速率上限 ai_classify 是每个工作区每分钟 1,200 个请求。 请联系您的Databricks账户团队,申请更高的限额。

以下示例对客户支持消息进行了分类:

curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-classify" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/json" \
     -d '{
  "content": "My password is leaked.",
  "labels": ["urgent", "not_urgent"],
  "options": {
    "instructions": "Classify the support request by urgency."
  }
}'

使用异步 API(测试版)分类文档

使用 AI Functions 异步 API(测试版)在一个批次中对大量文本进行分类。 关于请求和响应字段,以及取消和列出批次的请求,请参见 异步 API 参考。 工作区管理员必须在预览页面开启 AI 功能异步 API 预览。

Note

若要在作业中对 Unity Catalog 表的行进行分类,可以改用ai_classify任务(Beta 版)。 任务会帮你读取和写入 Unity 目录表,每次运行只处理新建或更改的行。

要用异步API对文本进行分类:

  1. 创建一个JSONL输入文件,每个文本一行。 每行都有唯一的 custom_id 和 body.text 中的文本:

    {"custom_id": "ticket-001", "body": {"text": "My password is leaked."}}
    {"custom_id": "ticket-002", "body": {"text": "How do I change my billing address?"}}
    
  2. 将输入文件上传到Unity Catalog卷,例如使用 Files API。

  3. 创建一个批处理,运行 ai_classify 在输入文件上。 params 中的 labels 和 options 适用于每一行,而 output_ref 是结果的卷目录:

    curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN" \
         -H "Content-Type: application/json" \
         -d '{
      "endpoint": "ai_classify",
      "input_ref": "/Volumes/my_catalog/my_schema/my_volume/requests.jsonl",
      "params": {
        "labels": ["urgent", "not_urgent"],
        "options": {
          "instructions": "Classify the support request by urgency."
        }
      },
      "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/"
    }'
    

    响应包含批次 name。 在接下来的步骤中,用它代替 <batch-name>。

  4. 检查批次状态。 当 status 为 COMPLETED、CANCELLED 或 FAILED 时,批次已完成:

    curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN"
    

    当输出文件准备好时,响应中的 output_ref 包含其路径。

  5. 使用文件 API 下载输出文件:

    curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN" \
         -o output.jsonl
    

输出文件中的每一行都对应输入文件中的一行。 这些行的顺序和输入文件相同。 每行包含其请求的 custom_id 以及以下字段之一:

  • response:请求的结果。 它的字段与 AI Classify REST API 响应相同。
  • error:如果请求失败,则为错误的 type 和 message。

以下示例显示了成功的请求和失败请求的行:

{"custom_id": "ticket-001", "response": {...}}
{"custom_id": "ticket-002", "error": {"type": "request_failed", "message": "..."}}

Limitations

请参阅 限制