智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI (@microsoft/m365-copilot-eval) 从环境变量中读取连接和身份验证设置。 本文介绍在何处获取每个值。
有关变量列表及其放置位置,请参阅 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 概述和快速入门:使用 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 评估 CLI。
开始之前
在收集值之前,请收集以下物品:
- 访问在 Microsoft Foundry 项目中托管 Azure OpenAI 模型的 Azure 订阅。
- 登录到部署了 Copilot 代理的 Microsoft 365 租户的访问权限。
- Microsoft Foundry 项目上的 Azure AI 开发人员角色。 如果无法部署模型或访问项目,请咨询订阅管理员。
获取租户 ID (TENANT_ID)
TENANT_ID是部署代理的 Microsoft Entra 租户 ID。 它是形式的 GUID xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx。
使用以下任一方法。
选项 1:Microsoft Entra 管理中心
- 使用目标租户中的帐户登录到 Microsoft Entra 管理中心。
- 选择 “标识>概述”。
- 复制租户 ID 值。
选项 2:Azure CLI
如果已安装 Azure CLI:
az account show --query tenantId --output tsv
如果属于多个租户,请先登录到正确的租户:
az login --tenant <tenant-domain-or-id>
选项 3:Azure 门户
- 登录到 Azure 门户。
- 从门户菜单中选择 Microsoft Entra ID。
- 从“概述”页复制租户 ID。
提示
如果连接,但报告找不到代理,则 runevals 最常见的原因是 与 TENANT_ID 代理部署到的租户不匹配。 请参阅 租户不匹配。
在 Microsoft Foundry 中部署 GPT-5 微型模型
评估工具使用 Microsoft Foundry 项目和 GPT-5 模型通过云评估对响应进行评分。 建议使用 GPT-5 mini,但可以使用任何 GPT-5 模型。 你需要项目终结点 (AZURE_AI_PROJECT_ENDPOINT) 和模型部署名称 (AZURE_AI_MODEL_NAME) 。 Foundry 路径使用 Microsoft Entra 进行身份验证,因此不需要 API 密钥。
如果还没有具有已部署模型的 Microsoft Foundry 项目,请按照以下步骤创建一个:
登录到 Azure 门户。
在搜索栏中输入“OpenAI”,然后从结果中选择“Azure OpenAI”。
选择“ 创建 ”以创建 Microsoft Foundry 资源。
在 “创建 AI Foundry”资源 窗体上,填写详细信息,然后选择“ 审阅 + 创建”。
部署资源后,打开 Microsoft Foundry 门户。
在左侧导航栏中,选择模型 + 终结点。
选择“ 部署模型>” “部署基本模型”。 选择 gpt-5-mini 型号。 Foundry 云评估路径支持 GPT-5 mini。
选择 “确认”,然后选择“ 自定义”。
根据需要调整评估工作负载的容量。
选择 “部署” ,然后等待部署报告“ 成功”。
在 Foundry 项目主页中,复制 项目终结点。 此值适用于
AZURE_AI_PROJECT_ENDPOINT。在 “最近的工作”下,选择 GPT-5 迷你部署。 在部署的 详细信息 选项卡上,复制部署 名称。 此值适用于
AZURE_AI_MODEL_NAME。将这些值添加到 env 文件。 有关详细信息,请参阅 快速入门的步骤 3。
使用 Microsoft Entra 登录
Foundry 云评估路径使用 Microsoft Entra 身份验证而不是 API 密钥。 在运行评估之前使用 Azure CLI 登录:
az login
如果 Foundry 项目位于其他租户中,请登录到该租户:
az login --tenant <tenant-id>
你需要在 Foundry 项目中担任 Azure AI 开发人员角色。
获取代理 ID (M365_AGENT_ID)
M365_AGENT_ID 标识向其发送测试提示的 Copilot 代理 runevals 。 CLI 接受两种格式:
- 用户范围:
U_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx - 租户范围:
T_<agent-name>.declarativeAgent
Microsoft 365 智能体工具包项目
如果使用 Microsoft 365 代理工具包生成代理,则无需直接设置 M365_AGENT_ID 。 CLI 会自动检测代理 ID,代理工具包在预配期间从中 M365_TITLE_ID写入 .env.local 。
要确认,请在项目根目录中打开 .env.local 并查找类似于以下内容的行:
M365_TITLE_ID="U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
非 Microsoft 365 Agents Toolkit 项目
在 env/.env.<environment>中显式设置M365_AGENT_ID。 从代理的发布位置获取值 - 例如,Microsoft Teams 管理中心、Microsoft 365 管理中心或发布管道的部署输出。
在运行时替代代理
要在不编辑 env 文件的情况下评估其他代理,请传递 --m365-agent-id 命令行:
runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
有关详细信息,请参阅 --m365-agent-id CLI 参考。
设置模型部署
两个变量控制 CLI 用于评分的 Microsoft Foundry 项目和模型部署。
AZURE_AI_MODEL_NAME 有一个工作默认值,因此您可以接受默认值或在 env 文件中显式设置这两个值:
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # deployment name in Foundry
| 变量 | 默认 | 何时更改 |
|---|---|---|
AZURE_AI_PROJECT_ENDPOINT |
无 | 始终将此值设置为用于评分的 Microsoft Foundry 项目的终结点。 |
AZURE_AI_MODEL_NAME |
gpt-5-mini |
你希望在 Microsoft Foundry 项目中使用不同的部署进行评分。 |
AZURE_AI_MODEL_NAME 必须与部署名称完全匹配,因为它在 Microsoft Foundry 项目中显示的完全一致。
从 Foundry 获取AZURE_AI_MODEL_NAME
- 登录到 Microsoft Foundry 门户 并打开项目。
- 选择 模型 + 终结点。
- 复制要用于评分的模型的 部署名称 。
验证你的值
收集值并将其添加到相应的环境文件后 (请参阅 快速入门) 的步骤 3 ,运行:
runevals --init-only --log-level debug
此命令将加载环境、初始化 Python 运行时,并在不运行评估的情况下显示配置错误。 如果它完成时没有错误,则值已正确加载。
警告
--log-level debug 可能会打印原始 API 有效负载。 在共享之前,请查看输出。 密文是基于模式的,可能无法捕获每个键或标识符。
疑难解答
使用下表解决可能遇到的问题。
| 症状 | 可能的原因 | 后续步骤 |
|---|---|---|
| 启动时出现身份验证错误 | 登录到了错误的 Microsoft 365 帐户,或 TENANT_ID 与代理的租户不匹配。 |
请参阅 身份验证错误。 |
| 工具连接,但找不到代理 |
TENANT_ID 不匹配,或者代理未部署到该租户。 |
请参阅 租户不匹配。 |
| 评分失败,出现 401 或 403 | 你未使用 登录,az login或者你的帐户缺少 Foundry 项目上的 Azure AI 开发人员角色。 |
请参阅 铸造厂评分错误。 |
| 忽略 env 文件中的值 | 优先级顺序前面的另一个 env 文件设置了相同的变量。 | 请参阅 环境文件优先级。 |