智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 的评估者参考

智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 包括对响应进行评分和检查运行时行为的评估程序。 每个评估员衡量质量的不同方面,从语义相关性到工具调用执行。 本文介绍它们的评分行为、配置选项以及在测试数据集中的用法。

有关如何在数据集中配置评估器的信息,请参阅 配置评估器。

您可以在 GitHub 上找到 JSON 架构格式的评估数据集架构。

注意

工具调用评估程序需要 CLI v2 (preview) 和架构 v2。 它们在 CLI v1 (latest) 中不可用。 本文中的其他示例使用架构 v1。

评估程序摘要

下表汇总了所有可用的赋值器。

评估器 类型 缩放 默认阈值 默认启用 必填字段
相关性 基于 LLM 1-5 3 是 prompt
相干性 基于 LLM 1-5 3 是 prompt
接地气 基于 LLM 1-5 3 否 prompt
相似性 基于 LLM 1-5 3 否 prompt, expected_response
RetrievalQuery 非法学硕士 通过/失败 不适用 否 prompt、评估器配置
RetrievalResult 非法学硕士 比例 1.0 否 prompt、评估器配置
ToolCallSelection (v2 预览版) 非法学硕士 通过/失败/错误 1.0,固定 否 prompt, , calls[].tool所选功能遥测
ToolCallExecution (v2 预览版) 非法学硕士 通过/失败/错误 1.0,固定 否 prompt, , calls[].tool具有 HTTP 结果的执行遥测
引文 基于计数 >= 0 1 否 prompt
PartialMatch 字符串匹配 0.0-1.0 0.5 否 prompt, expected_response
ExactMatch 字符串匹配 布尔 不适用 否 prompt, expected_response

基于 LLM 的评估程序

基于 LLM 的评估程序在 Microsoft Foundry 项目中使用Azure OpenAI 模型, (通过环境变量进行配置,) 来判断代理响应的质量。 这些评估程序由 Azure AI 评估 SDK 提供支持。 李克特量表的分数范围从 1 到 5,其中数值越高表示质量越好。 默认情况下,需要达到 3 分或更高才能通过。 可在测试配置中更改所需的分数。

相关性

相关性评估器评估代理的响应解决用户查询的程度。 它评估响应是否直接完整地回答了所提出的问题。

  • 默认启用: 是
  • 量表: 1-5 (Likert)
  • 默认阈值: 3
  • 必填字段:prompt
  • 需要参考资料: 否

相关性评估器不需要 expected_response - 它仅评估查询和响应之间的关系。

相关性示例数据集

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Relevance": {}
  },
  "items": [
    {
      "prompt": "What are the key features of our enterprise plan?",
      "expected_response": "The enterprise plan includes advanced security, unlimited storage, 24/7 support, and custom integrations."
    }
  ]
}

相干性

相干性评估器衡量智能体响应中想法的逻辑和有序呈现。 它评估回答在句子之间是否有明确的联系、适当的过渡以及易于理解的逻辑想法顺序。

  • 默认启用: 是
  • 量表: 1-5 (Likert)
  • 默认阈值: 3
  • 必填字段:prompt
  • 需要参考资料: 否

一致性示例数据集

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Coherence": {}
  },
  "items": [
    {
      "prompt": "Explain the process for submitting an expense report.",
      "expected_response": "To submit an expense report, first collect your receipts. Then open the expense portal, create a new report, attach your receipts, and submit for manager approval."
    }
  ]
}

接地气

Groundedness 评估程序检查代理的响应是否与提供的基础上下文一致并得到其支持。 它通过验证响应不包含超出检索文档支持范围的声明或信息来关注精度。

  • 默认启用: 否
  • 量表: 1-5 (Likert)
  • 默认阈值: 3
  • 必填字段:prompt, expected_response
  • 需要参考资料: 否

使用 Groundedness 评估器检测客服人员回复中的幻觉或毫无根据的声明。

Groundedness 示例数据集

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Relevance": {},
    "Groundedness": {}
  },
  "items": [
    {
      "prompt": "What is our company's remote work policy?",
      "expected_response": "Employees can work remotely up to 3 days per week with manager approval."
    }
  ]
}

相似性

相似性评估器测量代理的响应与提供的 expected_response (实际) 之间的语义相似程度。 与 F1 或双语评估学生 (BLEU) 等标记重叠指标不同,它侧重于含义和更广泛的上下文,而不是表面层面的单词匹配。

  • 默认启用: 否
  • 量表: 1-5 (Likert)
  • 默认阈值: 3
  • 必填字段:prompt, expected_response
  • 需要参考资料: 是

您需要在数据集项中为相似性评估器配置 expected_response 。

相似性示例数据集

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Similarity": {}
  },
  "items": [
    {
      "prompt": "What is Microsoft Graph?",
      "expected_response": "Microsoft Graph is a unified API endpoint that provides access to data and intelligence in Microsoft 365 services."
    }
  ]
}

检索评估器

检索评估程序验证智能 Microsoft 365 Copilot 副驾驶® 代理的端到端检索管道。 他们检查代理如何将用户查询转换为检索操作,以及预期的资源是否出现在结果中。 这些评估程序不使用 LLM 法官 - 他们对检索执行数据执行确定性检查。

RetrievalQuery

RetrievalQuery 评估程序验证 Copilot 是否正确地将用户意图转换为检索查询。 它检查 queryString 规范化 retrieval_executions[] 值,并验证它们是否与预期模式匹配。

  • 默认启用: 否
  • 缩放: 通过/失败
  • 默认阈值: 不适用
  • 必填字段:prompt、评估程序配置
  • 需要参考资料: 否

RetrievalQuery 配置选项

选项 类型 必需 说明
capability 字符串 是 检索功能,用于将检查的执行范围 (例如 "OneDriveAndSharePoint"、、 "Email""GraphConnectors") 。
selector 字符串 是 不区分大小写的子字符串,用于在检索执行中标识目标查询。
includes 字符串 是 必须全部出现在匹配的查询中的子字符串。
excludes 字符串 是 不得出现在匹配的查询中的子字符串。

RetrievalQuery 示例数据集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Find the Q4 sales report in SharePoint",
      "expected_response": "Here is the Q4 sales report.",
      "evaluators": {
        "RetrievalQuery": {
          "capability": "OneDriveAndSharePoint",
          "selector": "Q4 sales report",
          "includes": ["projections", "profit"],
          "excludes": ["FileType:OneNote"]
        }
      }
    }
  ]
}

RetrievalResult

RetrievalResult 评估程序验证预期资源是否实际出现在检索执行返回的文档、消息和项目中。 它检查特定文本片段是否存在于可配置的排名阈值内的检索命中提取中。

  • 默认启用: 否
  • 缩放: 比例 (0.0-1.0)
  • 默认阈值: 1.0 (必须通过) 检查
  • 必填字段:prompt、评估程序配置
  • 需要参考资料: 否

该分数与找到的预期项目数成正比。 例如,如果找到 3 个预期项目中的 2 个,则得分为 0.67。 但是,通过需要所有检查才能成功 (阈值始终为 1.0) 。 必须至少配置一个 expected_items 或 min_expected_count。

RetrievalResult 配置选项

选项 类型 必需 描述
expected_items array 条件 指定预期结果的对象数组。 每个对象可以包含 retrievalExtract_contains (一个文本片段,以在检索命中摘录) 中匹配。 必须至少配置一个 expected_items 或 min_expected_count。
expected_items[].retrievalExtract_contains 字符串 否 必须出现在检索命中提取中的文本片段。
min_expected_count 整数 条件 必须检索的最小结果数。 必须至少配置一个 expected_items 或 min_expected_count。
max_rank 整数 否 匹配预期项目时要考虑的最大排名位置。 默认为 10.

RetrievalResult 示例数据集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Find recent emails about the Contoso project",
      "expected_response": "Here are the recent emails about the Contoso project.",
      "evaluators": {
        "RetrievalResult": {
          "expected_items": [
            { "retrievalExtract_contains": "update" },
            { "retrievalExtract_contains": "budget" }
          ],
          "max_rank": 5,
          "min_expected_count": 2
        }
      }
    }
  ]
}

工具调用评估程序

工具调用评估程序使用运行时诊断 (开发人员信息) 来检查工具选择和 HTTP 执行结果。 它们是确定性的,不使用 LLM 评委,也不需要 expected_response。

  • ToolCallSelection 检查是否选择了预期的工具标识,忽略顺序和重复项。 可以选择拒绝其他选择。
  • 对于每个预期调用,ToolCallExecution 检查是否 (状态 200-299) 是否成功执行 HTTP 执行。 重复标识以要求多次成功执行。

评估员都没有确定答案质量或业务正确性。 当两者都需要时,将响应评估器与工具调用检查一起使用。 有关配置、同意、示例和结果解释,请参阅 工具调用评估程序。

基于字符串和基于计数的计算器

这些计算器使用确定性的字符串匹配或计数逻辑。 它们不需要 LLM 并在本地运行。

引文

引文评估器对代理响应中的引文引用数量进行计数,例如 [1]、 或[2]超链接样式的引文。 它检查代理是否正确将其声明归因于来源。 将阈值设置为预期的引用次数。

  • 默认启用: 否
  • 缩放:>= 0 (计数)
  • 默认阈值: 1
  • 必填字段:prompt
  • 需要参考资料: 否

分数等于引文计数,默认情况下至少需要 1 次引文才能通过。

引文配置选项

选项 类型 必需 说明
citation_format 字符串 否 指定预期的引文格式,如 "mixed"。

引文示例数据集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "What is our return policy?",
      "expected_response": "Our return policy allows returns within 30 days [1].",
      "evaluators": {
        "Citations": {
          "threshold": 2,
          "citation_format": "mixed"
        }
      }
    }
  ]
}

PartialMatch

PartialMatch 评估器测量代理响应与expected_response使用标记级别相似性之间的文本重叠程度, (类似于 F1 分数方法) 。 如果您希望响应包含预期答案中的关键短语或信息,但不需要逐字匹配,则此评估器非常有用。

  • 默认启用: 否
  • 规模: 0.0-1.0
  • 默认阈值: 0.5
  • 必填字段:prompt, expected_response
  • 需要参考资料: 是

分数范围从 0.0 (无重叠) 到 1.0 (完整匹配) 。

PartialMatch 示例数据集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Who is the CEO of Contoso?",
      "expected_response": "The CEO of Contoso is Jane Smith.",
      "evaluators": {
        "PartialMatch": {}
      }
    }
  ]
}

ExactMatch

ExactMatch 评估程序在代理的响应和配置expected_response的 . 它返回一个布尔值通过或失败 - 响应要么完全匹配,要么不匹配。 此评估器对于具有确定性或公式化预期答案的提示非常有用。

  • 默认启用: 否
  • 缩放: 布尔值 (通过或失败)
  • 默认阈值: 不适用
  • 必填字段:prompt, expected_response
  • 需要参考资料: 是

ExactMatch 配置选项

选项 类型 必需 说明
case_sensitive boolean 否 控制比较是否区分大小写。 默认为 true.

ExactMatch 示例数据集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "What is 2 + 2?",
      "expected_response": "4",
      "evaluators": {
        "ExactMatch": { "case_sensitive": false }
      }
    }
  ]
}