智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI (@microsoft/m365-copilot-eval) 通过自动提示评估和基于 AI 的评分,帮助您测试、衡量和提高代理的质量。 本快速入门将引导你完成安装 CLI、配置环境、创建第一个数据集和运行评估的过程。
注意
本快速入门使用 CLI v1 (latest) 来评估已部署的代理。 有关 CLI v2 预览版、插件方案以及新的 ToolCallSelection 和 ToolCallExecution 评估程序,请参阅 工具调用评估程序。
重要
对于已部署的声明式代理,请从 Work IQ Dev Tools 开始,以获得引导式工作流。 工作 IQ 开发工具管理兼容的智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 版本,因此无需全局安装@microsoft/m365-copilot-eval。 如果需要较低级别的命令控制或维护现有 runevals 工作流,请按照此快速入门操作。
先决条件
开始之前,请确保你有:
- 部署到租户的智能 Microsoft 365 Copilot 副驾驶®代理。
-
Node.js 24.12.0 或更高版本 (用于
node --version检查) 。 - 租户中可用的 Copilot 额度。 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 在向代理发送测试提示时消耗 Copilot 额度。 租户管理员通过转到“Copilot>成本管理”节点,在Microsoft 365 管理中心中启用基于使用情况的 (按流量计费的) 计费。 有关详细信息,请参阅 管理 Copilot 额度。
- 一个 Microsoft Foundry 项目,其中部署了 GPT-5 模型来对响应进行评分。 有关详细信息,请参阅 获取环境变量的值。
- 租户中 Work IQ 已授予 Microsoft Entra 管理员同意。 如果你不是租户管理员,请在首次运行
runevals之前请求管理员授予许可。 有关详细信息,请参阅 授予管理员同意。 - 你的租户 ID 和 Microsoft Foundry 项目终结点。 如果没有这些值,请参阅 获取环境变量的值。
注意
本快速入门假定你使用的是 Windows 开发环境。 即将推出对其他操作系统的身份验证支持。
步骤 1:安装 CLI
使用 npm 全局安装智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI v1:
npm install -g @microsoft/m365-copilot-eval@latest
验证安装:
runevals --version
安装后,该 runevals 命令将在系统上全局可用。
步骤 2:设置项目结构
从 Microsoft 365 代理项目目录 (代理代码所在的) 目录运行评估工具,而不是从评估工具存储库运行评估工具。
cd /path/to/your-agent-project
代理项目应包含以下文件和文件夹:
my-agent/
├── .env.local # Agent configuration (Agents Toolkit projects)
├── .env.local.user # Secrets — never committed
├── evals/
│ └── evals.json # Your test dataset (auto-discovered)
└── .evals/
└── <generated reports> # Results written here (YYYY-MM-DD_HH-MM-SS.html)
您在步骤 4 中创建 evals/evals.json 数据集。
.evals/首次运行时将自动创建报表文件夹。
步骤 3:配置环境变量
选择与项目类型匹配的选项。
提示
如果使用 Microsoft 365 Agents Toolkit 生成代理, .env.local 则已经使用代理配置。 在项目根目录中创建 .env.local.user 机密。
Microsoft 365 智能体工具包项目
您无需直接设置 M365_AGENT_ID — CLI 会从 M365_TITLE_ID ..env.local 有关详细信息,请参阅 获取代理 ID。
将机密添加到:.env.local.user
# .env.local.user (NOT checked in — secrets go here)
TENANT_ID="your-tenant-id-here"
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # default
智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 通过使用 Microsoft Foundry 云评估对响应进行评分,该评估使用 Microsoft Entra 进行身份验证。 在运行runevals之前使用 Azure CLI 登录 (az login) 。 有关这些值的详细信息,请参阅 获取环境变量的值。
添加到 .env.local.user.gitignore:
# User-specific secrets — never commit
.env.local.user
env/.env.local.user
步骤 4:创建第一个数据集
使用一小组提示和预期响应进行创建 evals/evals.json 。 此示例使用最简单的有效架构进行单轮次评估。
{
"schemaVersion": "1.0.0",
"items": [
{
"prompt": "What is Microsoft 365?",
"expected_response": "Microsoft 365 is a cloud-based productivity suite that includes Office apps, cloud services, and device management."
},
{
"prompt": "How do I share a file in Microsoft Teams?",
"expected_response": "To share a file in Teams, you can upload it to a channel or chat, or share it from OneDrive with specific permissions."
}
]
}
提示
如果跳过此步骤,该工具会在您第一次运行 runevals时提供带有示例提示的起始文件。
有关完整的数据集架构、类别和高级模式,请参阅 创建评估测试套件。
步骤 5:运行第一次评估
对于 Agents Toolkit 项目, (自动使用 .env.local 和 .env.local.user) :
runevals
对于非 Agents Toolkit 项目:
runevals --env dev
步骤 6:确认成功设置
成功运行会产生:
终端中出现类似于以下消息的完成消息。
Microsoft 365 Copilot Evaluations CLI Loading environment: dev Agent ID: T_my-agent.declarativeAgent Using prompts file: ./evals/evals.json Running evaluations... Evals completed successfully! Results saved to: ./.evals/2026-04-22_14-30-45.html保存到的 HTML 报表会
./.evals/YYYY-MM-DD_HH-MM-SS.html在浏览器中自动打开。
该报告包括每个提示的分数。
| 评估器 | 类型 | 缩放 | 默认阈值 | 默认 |
|---|---|---|---|---|
| 相关性 | 基于 LLM | 1-5 | 3 | 是 |
| 相干性 | 基于 LLM | 1-5 | 3 | 是 |
| 接地气 | 基于 LLM | 1-5 | 3 | 否 |
| 相似性 | 基于 LLM | 1-5 | 3 | 否 |
| 引文 | 基于计数 | >= 0 | 1 | 否 |
| ExactMatch | 字符串匹配 | boolean | 不适用 | 否 |
| PartialMatch | 字符串匹配 | 0.0-1.0 | 0.5 | 否 |
如果看不到这些结果,请参阅 故障排除。