智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 评估 CLI 疑难解答

本文提供适用于智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 的疑难解答信息。 以下部分按问题影响的工作流阶段对问题进行分组:设置、身份验证、运行时和环境。

设置问题

安装期间或首次运行 CLI 时遇到的问题。

安装失败

如果 npm install -g @microsoft/m365-copilot-eval 失败:

  • 验证是否正在运行 Node.js 24.12.0 或更高版本: node --version.
  • 检查是否有权安装全局 npm 包。 在 Unix/macOS 上,可能需要 sudo nvm 托管的节点安装。
  • 如果你正在使用公司代理,请参阅 网络或代理问题。

runevals 找不到命令

如果安装后无法识别命令:runevals

# Verify the package is installed globally
npm list -g @microsoft/m365-copilot-eval

# Reinstall if missing
npm install -g @microsoft/m365-copilot-eval

如果列出了包,但仍然找不到命令,请检查您的 npm 全局bin目录是否位于 PATH:

npm bin -g

如果缺少输出目录,请将其添加到 您的 PATH 。

预缓存 Python 环境

该工具在首次运行时下载 Python 运行时和依赖项。 若要在不运行评估的情况下提前设置环境:

runevals --init-only

这对于以下情况非常有用:

  • 预热 CI/CD 管道中的缓存。
  • 在不运行评估的情况下测试设置。
  • 将安装问题与评估问题隔离开来。

若要对设置本身进行故障排除,请结合调试日志记录:

runevals --init-only --log-level debug

身份验证问题

租户、代理或 Microsoft Foundry 访问问题。

身份验证错误

如果身份验证失败:

  • 验证是否 TENANT_ID 与部署代理的租户匹配。
  • 确认你正在 Windows 上运行。 即将推出对其他操作系统的支持。
  • 确保登录正确的 Microsoft 365 帐户。
  • 如果使用多个租户,请先注销其他帐户,然后再运行 runevals。

租户不匹配

如果该工具连接但未返回任何代理,则可能 TENANT_ID 与部署代理的租户不匹配。 通过运行以下命令验证租户 ID:

az account show --query tenantId

还可以按照 必需环境变量中的说明进行操作。

铸造厂评分错误

如果评估评分失败并出现 401 或 403 错误:

  • 使用 Azure CLI (az login) 托管 Microsoft Foundry 项目的租户验证是否已登录。
  • 确认你的帐户在 Foundry 项目中具有 Azure AI 开发人员角色。
  • AZURE_AI_PROJECT_ENDPOINT确认指向正确的 Microsoft Foundry 项目。
  • 检查) 中的 AZURE_AI_MODEL_NAME (或模型集是否gpt-5-mini已部署到 Microsoft Foundry 项目中。

运行时问题

成功设置后运行评估时出现的问题。

找不到代理

如果该工具找不到代理:

  • 验证 M365_AGENT_ID 是否正确。 对于 Agents Toolkit 项目,CLI 会从 M365_TITLE_ID 中.env.local自动检测它,因此请改为检查该值 — 请参阅获取代理 ID。
  • 确认代理已部署到 TENANT_ID由 .
  • 确保具有访问代理的权限。
  • 请尝试显式指定代理 ID: runevals --m365-agent-id "<your-agent-id>"。

评估失败

如果评估开始但在运行过程中失败:

  • 使用详细日志记录运行以查看详细错误: runevals --log-level debug.
  • 检查退出代码是否属于常规故障类别。 请参阅 CLI 参考中的 退出代码 。

警告

此 --log-level debug 选项可能在控制台输出中包含原始 API 有效负载和响应数据。 密文基于模式,可能无法捕获所有 PII 或自定义凭据。 未经手动审查,请勿公开共享调试级别输出。

v2 预览版) (工具调用评估问题

ToolCallSelection 和 ToolCallExecution 需要 @microsoft/m365-copilot-eval@preview 和架构 v2。 它们在 v1 (latest) 中不可用。

症状 采取行动的
toolCallNotAllowed 查看请求的同意标识符,并使用 or allowed_tools批准default_allowed_tools预期操作。 评估者的期望不授予同意。
toolCallEvidenceIndeterminate 检查 diagnostics.tool_calls 不可用的证据或无法分析的 HTTP 结果。 错误不一定是通过或不一定是代理缺陷。
预期的呼叫不匹配 选中区分 plugin_id大小写的 、 toolset_id和 function_name。 plugin_id 是程序包标题 ID,而不是 plugin.id。
保存的工具调用结果无法重新评分 确认保存的项或转弯包括response和保留的诊断。 已 EVALS_SUPPRESS_DIAGNOSTICS=true 隐含的证据不可用于重播。
插件评估针对代理 Remove M365_AGENT_ID and legacy AGENT_ID from your shell and loaded environment files, and omit --m365-agent-id.

有关发现命令、示例以及故障和错误之间的区别,请参阅 工具调用评估程序。

环境问题

缓存的 Python 运行时、缓存目录或网络连接的问题。

缓存问题

评估工具对 Python 运行时和依赖项使用本地缓存。

# View cache info
runevals cache-info

# Clear and rebuild the cache
runevals cache-clear
runevals --init-only --log-level debug

权限问题

如果缓存操作失败并出现权限错误:

# View the cache directory path
runevals cache-dir

# Fix permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)

# Fix permissions (Windows PowerShell)
icacls "$(runevals cache-dir)" /grant ${env:USERNAME}:F /T

网络或代理问题

如果初始化在公司代理后面失败:

# Set proxy (Unix/macOS)
export HTTPS_PROXY=http://proxy:8080
export HTTP_PROXY=http://proxy:8080

# Set proxy (Windows PowerShell)
$env:HTTPS_PROXY="http://proxy:8080"
$env:HTTP_PROXY="http://proxy:8080"

# Retry initialization with verbose output
runevals --init-only --log-level debug

获取支持

如果本文前面的故障排除步骤无法解决问题,请在智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 GitHub 存储库中提交问题。

在提交问题之前,请收集:

  • CLI 版本: runevals --version.
  • 你运行的确切命令。
  • 错误输出 () 编辑任何 PII、密钥或特定于租户的标识符。
  • 操作系统和 Node.js 版本: node --version.

提交问题: