Note
本文介绍了由 标准线束驱动的代理或代理流中使用的功能。
进行评估并分析结果,优化您的客服行为,验证您的客服符合您的业务和质量要求。 您还可以多次运行测试集,以在改进智能体时随时间推移查看变化。
本文介绍如何使用Copilot Studio接口开始评估和查看结果。 您还可以通过 Power Platform API 或连接器运行评估,这些工具可作为独立工具添加,也可作为 Copilot Studio 或 Power Automate 中自动化流的一部分。
在 Copilot Studio 中,测试结果有效期为 89 天。 为了更长时间地保存测试结果,请将结果导出为CSV文件。
在“审阅”面板中回应评估警告
当您的智能体需要进行评估时,顶部菜单栏中会显示审核按钮。 要查看警告,请选择查看。 如果有以下情况,你会收到警告提示:
- 不存在任何评估。 选择评估智能体以转到智能体的评估页面,您可以在该页面运行评估。
- 代理模型自最新评估以来发生了变化。 选择 “评估代理” 以使用当前模型对代理进行评估。
这些警告并不会阻止你发布。
请参阅在 Copilot Studio 中审查智能体就绪性和问题状态以了解更多信息。
用测试集运行测试
创建测试集后,使用该集合运行测试。 或者,可以通过使用相同的数据集来反复运行测试,以便随着时间和迭代次数比较结果。 测试运行最多可能需要几分钟。 你一次只能运行一个测试。
Important
使用用户身份验证的代理评估需要通过 Microsoft Copilot Studio 连接器进行访问。 如果你的管理员关闭了这个连接,你就无法通过评估工具运行测试。 有关详细信息,请参阅 Copilot Studio 连接器和数据组。
访问你经纪人的 评估 页面。
通过执行以下操作之一来运行测试:
- 在创建或编辑测试集结束时,选择“评估”。
- 在 “近期成绩 ”部分,请通过以下任一步骤重跑测试:
- 将鼠标悬停在要评估的测试结果上,然后选择
▶评估 ,并在评估代理 旁边选择<(再次评估测试集 )>。 - 选择测试结果以打开它,然后在“评估摘要”窗格中选择“运行▶”图标。
- 将鼠标悬停在要评估的测试结果上,然后选择
如果当前登录用户的连接已损坏,或测试集没有用户配置文件,则会出现 “管理配置文件和连接” 对话框。 测试时不必使用用户配置文件。 但是,如果您使用配置文件,所有连接都必须正常工作。 了解更多内容,请参阅 管理用户档案和联系人。
Important
你可以审查并验证代理为当前登录用户使用的连接器。 在登录期间,您无法使用其他用户进行连接。 要用不同用户运行评估,先退出,用该用户账户登录,然后运行评估。 了解更多内容,请参阅 管理用户档案和联系人。
评估运行需几分钟。 测试结果被实时逐行处理。 你会看到每个评估测试用例的结果在生成时按顺序显示。 实时处理测试用例可让你在评估运行时立即了解质量趋势和潜在故障。 如果出现问题,可以随时停止运行。 完整评估完成后,Copilot Studio会显示警报,摘要结果可供查看。
Note
一次只能运行一个评估测试集。 等待当前评估完成,然后再运行另一个评估。
深入分析测试结果
每次使用测试集执行评估时,Copilot Studio:
使用连接的用户帐户模拟与智能体的对话,将测试案例中的每个问题发送到智能体。
收集智能体的响应。
衡量和分析每次响应的成功情况。 每个测试用例根据该测试用例的标准获得通过、失败、无效或错误。
根据测试集的“通过/率”分配通过率分数。
您可以在代理的评估页面“近期结果”栏目中查看每次测试的通过率。 若要查看更多测试集运行记录,请选择查看全部。
查看并评分测试用例的详细分析
打开测试结果时,你会看到测试运行的详细信息、测试中使用的查询列表、代理的响应以及 通过 或 不通过 评分。
在列表中选择一个测试用例,查看每个响应的详细评估。 选择 全部、 通过或 否 ,以按结果筛选案例。
评估内容包括预期和实际反应、测试结果背后的理由,以及代理人用来应对的知识、主题和工具。
评估结果。 本示例展示了质量评估的结果细节。
选择 “显示活动地图 ”,查看你的代理在测试案例中的输入、决策和输出顺序。 请参阅 查看会话活动 了解更多信息。
考试题目和工作人员回答的文字记录。
智能体在测试中使用的资源。 选择一个选项以打开。
你可以向Microsoft反馈每个测试用例的评估表现。 这些反馈专门关乎所选评估方法对回答的评估效果,而非回答本身是否正确。 您的反馈有助于随着时间推移提升评估的质量和准确性。
要对评估进行评分,请在测试用例详细信息窗格中选择赞
或踩
图标。 当反馈表单打开时,提供更多关于你的评分的详细信息,然后选择 提交。
同一代理的多个“创建者”可以多次运行评估测试集。 创建者可以使用其他制造商创建的测试集运行评估。 创建者可以查看任何测试运行的运行状态和结果指标,但只有启动测试运行的制造商可以查看代理响应和结果说明。
查看响应时间
Copilot Studio 在评估过程中自动测量每次交互的响应时间。 交互是单个用户请求及其代理的相应响应。 响应时间是指从代理收到请求到返回响应的端到端时间,单位为秒。 它包括代理在响应前完成的所有推理、工具调用、连接器调用、查询或工作流程步骤。
要查看响应时间,请在 结果 窗口中选择一个测试案例问题。 响应时间值会在响应后以秒数显示在代理响应面板中。
对于单响应测试案例,测试用例问题与代理的响应构成一个交互。 一个对话测试案例可以包含多个交互,Copilot Studio 会分别测量每个交互。
利用响应时间识别交互较慢的部分,并在更换代理后比较性能。 响应时间只是一个测量指标。 它不会分配 通过 或 不通过 的结果,也不影响测试集的通过率。
比较测试结果
你想测试一个版本的代理,观察修改前后性能的变化。 您可以使用比较工具来比较同一测试集的两次运行结果。
要看到对比,你需要至少运行同一组测试集两次。
在您的代理的评估页面中,在“最近测试结果”下,打开您想用作比较基准的测试运行。
选择“ 与他人比较 ”下拉菜单,然后选择你想与当前开放测试结果进行比较的时间和日期。
在 测试案例 列表中,箭头显示哪些测试用例结果通过从失败变为通过
而提升,或通过从通过变为失败
而下降。
选择一个测试用例以查看更多细节。 在 评估总结 面板中,你可以看到测试成绩的直接对比,当前测试运行的结果显示在顶部。
导出测试结果
你可以导出测试结果成CSV文件。 文件列出了每个测试用例的问题、预期响应(如适用)、测试方法、及格分数(如适用)、代理的回答、测试结果以及分析。
- 访问你经纪人的 评估 页面。
- 在 “近期结果 ”部分,通过以下任一步骤导出测试结果:
- 将鼠标悬停在你想导出的测试用例上,选择三个点(...),然后选择 导出测试结果。
- 选择测试用例打开,在评估摘要窗格中选择三个点(...),然后选择导出测试结果。
测试结果将以 你的测试集名称.csv 的格式下载。
使用代理查看者角色分享评估
如果您是智能体所有者,只想授权访问智能体的评估页面,请分享智能体并启用智能体查看者共享角色。 具有该角色的用户可以在无需直接访问代理本身的情况下,管理特定代理的评估。
Note
代理查看者角色不赋予整个环境或整个租户范围内的权限。
用户被分配了智能体查看者角色用于评估:
- 查看并运行其他制造商的评估测试集。
- 重新命名、取消和删除评估。
- 无法创建或更新与他们共享的评估测试集。
Note
被分配为代理查看者角色的用户,不能在他们作为代理查看者的评估之外创建、更新或删除代理或内容。 用户无法发布代理,也无法管理其共享和访问设置。
分配角色:
- 打开代理,选择这三个点(...) >分享。
- 在 新用户和应用身份下,添加用户或组。 或者从列表中选择一个现有用户。
- 在智能体权限拥有身份选项中,从角色列表中选择智能体查看者 。
- 选择 分享 以分享代理。
用户随后可以打开代理,查看 评估 和 监控 标签页。 然后他们可以在 评估 标签页管理评估。
了解更多关于 与其他用户分享代理评价的信息。