为智能体创建测试集(预览版)

[本文是预发行文档,可能会有所更改。]

测试集是一组你用来评估代理表现的对话。 每个对话都代表一个你希望智能体处理的应用场景。

Important

  • 这是一项面向生产环境的预览功能。
  • 生产就绪预览版需要满足补充使用条款。

Prerequisites

一个用 Microsoft Copilot 线束创建并保存的代理。 在 创建代理(预览) 中了解更多信息。

启动新评估

开始新的评估:

  1. 请在 Copilot Studio 中打开您的代理。
  2. 选择“评估”选项卡。
  3. 选择 新评估。

Note

消耗Copilot积分的体验会显示“使用Copilot积分”徽章,这样你在执行前就知道哪些动作会消耗积分。 了解更多内容,请参阅 “了解预计信用使用量”。

选择以下选项之一:

选项 1:从 CSV 文件上传对话内容

  1. 在评估标签页的数据源部分,将 CSV 文件拖拽到上传区域,或选择文件进行浏览。

    Tip

    选择 CSV 链接以下载符合正确文件格式的模板。 最大文件大小为5 MB。

    Note

    对于对话测试集,CSV 文件的头部行必须是 conversationNumber,question,response 。

  2. 审查导入的对话并根据需要进行调整。

  3. 在右侧的配置测试集面板中,输入名称作为评估名称。

  4. 选择 “评估 ”来运行评估,或者选择 保存 以保存不运行的评估。

选项 2:使用 AI 生成对话

  1. 在评估选项卡的更多启动方式部分中,选择快速对话集。
  2. 等待系统根据代理的描述、指示和话题生成10次对话。
  3. 在查看你的测试用例列表中查看生成的对话。
  4. 在 配置测试集 面板中,输入 一个名称,然后选择 评估 或 保存。

你也可以从评估视图生成更多对话。 选择 添加对话>生成10个对话。 运行初步评估后,选择 “添加对话>”生成25个对话 “或 ”生成50个对话 “以生成更多对话。

选项三:手动编写对话

  1. 在评估选项卡的更多开始方式部分,选择或者,自己编写一些问题。
  2. 在 “查看你的测试案例 ”列表中,选择 “添加对话>”写入 “以手动创建测试用例。
  3. 为每段对话添加一个用户问题。 可选择添加预期的客服回复。
  4. 在配置测试集面板中,输入名称,然后选择评估或保存。

配置测试集

当您创建或编辑评估时, 配置测试集 面板包含以下选项:

  • 名称:评估的必填名称。
  • 测试方法:用于评分回答的方法。 每项评估都从 总体质量开始。 要添加另一个方法,选择“ 添加测试方法”,然后在 “选择测试方法 ”对话框中选择一个方法。 您可以添加最多五种方法,例如 比较含义、 能力使用、 分类或 内容安全。 对于将答案与预期响应进行比较的方法,应在每次测试对话中包含预期代理响应。 为了 内容安全,选择一种 内容类型 并设置 最大严重性。 在《 测试方法》中了解更多关于每种方法的信息。
  • 用户配置文件:运行评估并连接工具的认证配置文件。 评估使用登录用户的个人资料。 你登录时不能以其他用户身份连接。 要以不同用户进行评估,先退出,用该用户账户登录,然后开始评估。

编辑测试集中的对话

在测试集中编辑对话:

  1. 在评估标签页,从评估下拉菜单中打开一个现有测试集。
  2. 选择一个对话以编辑其中的消息。
  3. 使用添加对话下拉菜单来添加更多对话。
  4. 完成后,请选择保存。

测试集限制

当你创建、编辑测试集或运行评估时,Evaluate 选项卡上适用以下限制。

Limit Value 当你达到极限时会发生什么
每个测试集的对话 20 当你达到上限时,会显示一条消息提示你。 要生成或写更多对话,首先删除一些已有的对话。 如果你生成的对话数量超过测试集能容纳的数量,测试集只会添加足够的对话,直到达到该上限。
每段对话的问答对 6(12条留言) 你不能再给对话再加一个问题。
问题长度 1000个字符,包括空格 你不能再输入更多字符。
预期响应长度 1000个字符,包括空格 你不能再输入更多字符。
测试集名称长度 50 个字符 你不能再输入更多字符。
CSV 文件大小 5 兆字节 你不能上传超过5MB的文件。
代理响应长度 10,000 个字符 回应不会被评分。 结果显示,回复超过10,000个字符,无法进行评估。

上传CSV文件对话时,同样的限制也适用:

  • 只有前20段对话被导入。
  • 每场对话仅导入前六对问答。
  • 带有超过1000字符的问题或预期回复的对话不会被导入。 一条消息告诉你导入跳过了一些对话。