智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 概述

智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI (@microsoft/m365-copilot-eval) (以前称为代理评估 CLI)可帮助您通过结构化评估和结果报告来测试、衡量和提高代理的质量。 CLI v2 预览版还支持评估使用插件的智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 响应。

重要

对于已部署的声明式代理,请从 Work IQ Dev Tools 开始,以获得引导式工作流。 工作 IQ 开发工具管理兼容的智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 版本,并通过以下方式wiqd agent eval公开它。 如果需要较低级别的命令控制或维护现有 runevals 工作流,请使用本节中的独立 CLI 指南。

选择 CLI 版本

npm 包名称和 runevals 命令未更改。

版本 npm 标记 评估范围
v1 latest 已部署的代理。 快速入门涵盖此版本。
v2 预览版 preview 已部署的代理和使用插件的 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 响应。 对于具有架构 v2 的工具 调用评估程序 是必需的。

在 v2 预览版中,没有配置代理 ID 的运行将评估智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 聊天,而不是选择代理。 对于插件运行,请先在 Copilot 中预配和启用插件,然后从 shell 和加载的环境文件中删除 M365_AGENT_ID 旧版插件 AGENT_ID 。 此设置评估 Copilot 体验,而不是孤立的插件终结点。

有关预览安装和工具调用数据集示例,请参阅 工具调用评估程序。

可执行的操作

评估工具提供以下功能:

  • 运行批处理和交互式评估。
  • 使用 Microsoft Foundry 云评估和内置指标自动对响应进行评分。
  • 使用 JSON 数据集、内联提示或交互式输入进行测试。
  • 以 HTML、JSON 或 CSV 格式生成报告。

评估指标

响应评估员对答案质量进行评分。 工具调用评估程序检查运行时诊断,而不是响应文本。

评估器 类型 缩放 默认阈值 默认
相关性 基于 LLM 1-5 3 是
相干性 基于 LLM 1-5 3 是
接地气 基于 LLM 1-5 3 否
相似性 基于 LLM 1-5 3 否
RetrievalQuery 非法学硕士 通过/失败 不适用 否
RetrievalResult 非法学硕士 比例 1.0 否
ToolCallSelection (v2 预览版) 非法学硕士 通过/失败/错误 1.0,固定 否
ToolCallExecution (v2 预览版) 非法学硕士 通过/失败/错误 1.0,固定 否
引文 基于计数 >= 0 1 否
ExactMatch 字符串匹配 boolean 不适用 否
PartialMatch 字符串匹配 0.0-1.0 0.5 否

有关每个评估器的详细信息,包括配置选项和示例数据集,请参阅 评估器参考。

评估工作流的工作原理

评估遵循一致的工作流:

  1. 安装和配置 CLI。
  2. 提供环境配置和凭据。
  3. 创建测试提示的数据集。
  4. 针对代理运行评估。
  5. 查看结果并迭代。

必需的环境变量

评估工具使用环境变量进行身份验证并连接到租户和 Microsoft Foundry 项目。 以下设置介绍 v1 代理评估工作流。 仅使用确定性评估程序(包括 v2 预览版中的工具调用评估程序)的运行不需要 Microsoft Foundry 评分配置。

变量 说明 默认
TENANT_ID 部署代理的 Microsoft Entra 租户 ID。 无
AZURE_AI_PROJECT_ENDPOINT 用于云评估的 Microsoft Foundry 项目终结点。 对于 Microsoft Foundry LLM 法官是必需的,不适用于确定性评估员。 无
AZURE_AI_MODEL_NAME Microsoft Foundry 项目中的模型部署名称。 gpt-5-mini
M365_TITLE_ID (可选) 用于自动检测 Microsoft 365 代理 ID 以进行评估的游戏 ID。 无
M365_AGENT_ID (可选) 用于评估的显式代理 ID。 自动检测来源 M365_TITLE_ID

这些值启用身份验证,并允许工具使用 Microsoft Foundry 运行基于 LLM 的评估评分。 有关如何获取这些值的详细信息,请参阅 获取环境变量的值。