[本文是预发行文档,可能会有所更改。]
测试集是一组你用来评估代理表现的对话。 每个对话都代表一个你希望智能体处理的应用场景。
Important
- 这是一项面向生产环境的预览功能。
- 生产就绪预览版需要满足补充使用条款。
Prerequisites
一个用 Microsoft Copilot 线束创建并保存的代理。 在 创建代理(预览) 中了解更多信息。
启动新评估
开始新的评估:
- 请在 Copilot Studio 中打开您的代理。
- 选择“评估”选项卡。
- 选择 新评估。
Note
消耗Copilot积分的体验会显示“使用Copilot积分”徽章
,这样你在执行前就知道哪些动作会消耗积分。 了解更多内容,请参阅 “了解预计信用使用量”。
选择以下选项之一:
选项 1:从 CSV 文件上传对话内容
在评估标签页的数据源部分,将 CSV 文件拖拽到上传区域,或选择文件进行浏览。
Tip
选择 CSV 链接以下载符合正确文件格式的模板。 最大文件大小为5 MB。
Note
对于对话测试集,CSV 文件的头部行必须是
conversationNumber,question,response。审查导入的对话并根据需要进行调整。
在右侧的配置测试集面板中,输入名称作为评估名称。
选择 “评估 ”来运行评估,或者选择 保存 以保存不运行的评估。
选项 2:使用 AI 生成对话
- 在评估选项卡的更多启动方式部分中,选择快速对话集。
- 等待系统根据代理的描述、指示和话题生成10次对话。
- 在查看你的测试用例列表中查看生成的对话。
- 在 配置测试集 面板中,输入 一个名称,然后选择 评估 或 保存。
你也可以从评估视图生成更多对话。 选择 添加对话>生成10个对话。 运行初步评估后,选择 “添加对话>”生成25个对话 “或 ”生成50个对话 “以生成更多对话。
选项三:手动编写对话
- 在评估选项卡的更多开始方式部分,选择或者,自己编写一些问题。
- 在 “查看你的测试案例 ”列表中,选择 “添加对话>”写入 “以手动创建测试用例。
- 为每段对话添加一个用户问题。 可选择添加预期的客服回复。
- 在配置测试集面板中,输入名称,然后选择评估或保存。
配置测试集
当您创建或编辑评估时, 配置测试集 面板包含以下选项:
- 名称:评估的必填名称。
- 测试方法:用于评分回答的方法。 每项评估都从 总体质量开始。 要添加另一个方法,选择“ 添加测试方法”,然后在 “选择测试方法 ”对话框中选择一个方法。 您可以添加最多五种方法,例如 比较含义、 能力使用、 分类或 内容安全。 对于将答案与预期响应进行比较的方法,应在每次测试对话中包含预期代理响应。 为了 内容安全,选择一种 内容类型 并设置 最大严重性。 在《 测试方法》中了解更多关于每种方法的信息。
- 用户配置文件:运行评估并连接工具的认证配置文件。 评估使用登录用户的个人资料。 你登录时不能以其他用户身份连接。 要以不同用户进行评估,先退出,用该用户账户登录,然后开始评估。
编辑测试集中的对话
在测试集中编辑对话:
- 在评估标签页,从评估下拉菜单中打开一个现有测试集。
- 选择一个对话以编辑其中的消息。
- 使用添加对话下拉菜单来添加更多对话。
- 完成后,请选择保存。
测试集限制
当你创建、编辑测试集或运行评估时,Evaluate 选项卡上适用以下限制。
| Limit | Value | 当你达到极限时会发生什么 |
|---|---|---|
| 每个测试集的对话 | 20 | 当你达到上限时,会显示一条消息提示你。 要生成或写更多对话,首先删除一些已有的对话。 如果你生成的对话数量超过测试集能容纳的数量,测试集只会添加足够的对话,直到达到该上限。 |
| 每段对话的问答对 | 6(12条留言) | 你不能再给对话再加一个问题。 |
| 问题长度 | 1000个字符,包括空格 | 你不能再输入更多字符。 |
| 预期响应长度 | 1000个字符,包括空格 | 你不能再输入更多字符。 |
| 测试集名称长度 | 50 个字符 | 你不能再输入更多字符。 |
| CSV 文件大小 | 5 兆字节 | 你不能上传超过5MB的文件。 |
| 代理响应长度 | 10,000 个字符 | 回应不会被评分。 结果显示,回复超过10,000个字符,无法进行评估。 |
上传CSV文件对话时,同样的限制也适用:
- 只有前20段对话被导入。
- 每场对话仅导入前六对问答。
- 带有超过1000字符的问题或预期回复的对话不会被导入。 一条消息告诉你导入跳过了一些对话。