你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

使用 azd CLI 运行代理评估(预览版)

Important

本文中标记为预览的项目目前为预览版。 此预览版在没有服务级别协议的情况下提供,Microsoft不建议将其用于生产工作负荷。 某些功能可能不受支持,或者可能具有受限功能。 有关详细信息,请参阅 Microsoft Azure 预览版补充使用条款。

使用azd ai eval扩展将度量质量循环添加到使用 Microsoft Foundry 生成的代理。 你可以在项目旁边搭建一个评估框架,还可以选择生成数据集和评分标准评估器,对智能体进行评估,并且无需离开终端即可查看结果。

也可以在管道中运行同一评估,而 --fail-on 会将其结果转化为构建门禁。

本文涵盖第一次使用 azd ai eval init 和 azd ai eval run start 的评估。

先决条件

  • 有权访问 Microsoft Foundry 的 Azure 订阅。
  • Azure 开发人员 CLI(azd),版本 1.33.0 或更高版本。 有关安装说明,请参阅 安装 Azure Developer CLI。
  • azure.ai.evaluations 扩展,版本 1.0.0-beta.2 或更高版本,它提供 azd ai eval 命令。 请参阅 “安装扩展”。
  • 经过身份验证的 azd 会话。 若要检查身份验证状态,请运行 azd auth status。 如果未登录,请运行 azd auth login。
  • Foundry 资源上的 Foundry User 角色(以前命名为 Azure AI User)。 有关详细信息,请参阅 Microsoft Foundry 的基于角色的访问控制。
  • 有关所有评估角色要求,请参阅 设置评估工作流的权限。
  • 一个已初始化的 azd 项目和环境,用于标识你的 Foundry 项目。 有关设置,请参阅 设置 Foundry 项目上下文。
  • 用于轮次数据集、模拟对话或跟踪的智能体。 若要让 init 在本地检测到它,请在 azure.yaml 中声明代理服务,如 azd ai agent init 所做的那样。 否则,请使用 --target 传递其已部署的名称。 静态对话不需要代理目标。 有关托管代理,请参阅 托管代理。
  • 你使用的角色支持的模型部署:评分、可选项目生成和可选用户模拟。 显式设置每个角色;对某个角色使用一个部署不会配置其他角色。
  • 用于基于数据集的评估的实际 JSONL 数据集或已注册的数据集。 或者,在配置评估之前生成数据集。 init 不创建示例行。

安装扩展

安装 azure.ai.evaluations 扩展,该扩展提供 azd ai eval 命令。 扩展 microsoft.foundry 不包含它,因此请单独安装它:

azd extension install azure.ai.evaluations

如果已安装扩展,请将其升级到最新版本:

azd extension upgrade azure.ai.evaluations

如果需要独立 azd ai dataset 命令,请安装 azure.ai.dataset:

azd extension install azure.ai.dataset

这两个扩展都需要 azd 1.33.0 或更高版本。

验证安装

检查已安装的扩展版本和可用标志:

azd version
azd extension list --installed
azd ai eval version
azd ai eval init --help
azd ai eval generate --help
azd ai eval run start --help

如果还使用 azure.ai.agents 或独立 azure.ai.dataset 扩展,请单独检查它们:

azd ai agent version
azd ai dataset version

确认评估扩展版本为 1.0.0-beta.2 或更高版本。

这些扩展独立进行版本控制。 代理扩展不会替代评估扩展,独立数据集扩展对于 azd ai eval dataset 并非必需。 如果 init --help 未列出 --conversation-mode 和 --simulation-model,请先升级扩展,然后再按照对话示例进行操作。

azd evaluations 的工作原理

可以使用 evals/azure.eval.yaml 文件来描述评估。 可以读取、编辑和提交此文件。 命令可以写入该文件或对其声明的内容进行操作。

azd ai eval init          # scaffold the configuration without invoking an agent
azd ai eval generate      # optional: synthesize a dataset and a rubric evaluator
azd ai eval create        # register the eval in the Foundry project
azd ai eval run start     # run it and summarize the results
Item Description
init 生成脚手架 evals/azure.eval.yaml 并将评估服务添加到 azure.yaml。 不调用代理或生成数据。
generate 合成数据集、评分标准评估器(或同时合成两者),下载它们,并将对应的目录条目添加到配置中。 提交计费的生成作业。
evals/azure.eval.yaml 评估规则:评估内容、数据来源,以及进行评分的评估人员。
create 在项目中注册已声明的数据集、评估器以及评估本身。
run start 启动运行,默认等待其完成,然后打印各评估器的摘要。
run output list 该摘要背后的各样本结果。
dataset、evaluator 直接管理已注册的数据集和评估器,包括 versions list。
job 检查、取消和删除由 generate 提交的生成作业。

用于 -o json 脚本编写和 --debug 诊断。 由服务支持的命令接受 --project-endpoint;init 则改用本地项目和环境元数据。

选择数据来源

评估会对各数据行评分。 本文中的示例使用以下两个源之一:

  • --source traces 通过读取代理发出的跟踪来评估代理已完成的操作。 无需创建数据集。
  • --source dataset 评估一组固定的示例,即你的或生成的。 通过固定数据集,可以跨代理版本比较结果。

基于追踪数据的评估需要一个能够生成追踪数据的代理。 基于数据集的评估需要 .jsonl 文件或已注册的数据集。

对于数据集,请选择行表示的内容:

创作路径 init 选项 运行期间会发生什么
轮次数据集 --source dataset --evaluation-level turn --target <agent> 为每个输入调用代理并评估响应。
已完成的对话 --conversation-mode static 为数据集中已完成的消息评分,而无需调用代理。 不要传递 --target。
模拟对话 --conversation-mode simulation --target <agent> --simulation-model <deployment> 使用场景种子模拟用户与智能体交互,然后评估对话。

唯一 --conversation-mode 的值是 static 和 simulation。 当你省略这些选项时,任一值都意味着 --source dataset 和 --evaluation-level conversation。 跟踪是单独的来源,不是对话模式。

对于对话数据集,交互式 init 会提示选择模式。 在没有提示词时,省略的模式默认为 static。 当数据集包含场景种子而不是已完成的转录文本时,显式选择 simulation。

搭建评估基架

使用现有的已初始化的 azd 项目。 如果需要为已部署的代理创建新的本地工作区,请在新目录中运行以下命令:

azd init --minimal --no-prompt -e evaluation
azd env set FOUNDRY_PROJECT_ENDPOINT "<your-project-endpoint>"

将 <your-project-endpoint> 替换为你的 Foundry 项目终结点。 此设置不会部署代理。

从项目根目录运行 init ,以交互方式选择输入:

azd ai eval init

init 读取本地项目和环境元数据以检测代理服务和模型部署。 它不会从服务中发现已部署的代理或模型。 传递给 --target 的本地代理服务密钥会解析为该服务已声明的远程代理名称;还可以直接传递已部署的代理名称。

init 会写入 evals/azure.eval.yaml,并向 azure.yaml 添加评估服务。 它不会部署或调用代理、生成数据集或注册评估资源。 可以在部署之前编写配置,但基于代理的运行需要已部署的目标。

init除两处查找外,可脱机工作。 你选择的 builtin.*评估器(包括--no-prompt 下的默认评估器)可以触发尽力而为的目录查找,超时时间为 5 秒。 符合条件的 connection-name/model-deployment 模拟引用,或--simulation-model 的连接发现,会在 Foundry 项目中查找连接。 如果评估器目录查找无法完成,init 会按原样保留引用。 如果查找成功,init 则会拒绝目录中未列出的 builtin.* 名称。 取消命令仍会将其停止。

如果必需的值无法在本地解析,交互式 init 会提示输入该值。 在 --no-prompt 或 -o json下面显式提供所有未解决的输入项。 对于项目中没有代理服务的基于代理的评估,请提供 --target。

为所需的源和模式选择以下初始化示例之一。 这些示例使用占位符代理、数据集和部署名称。 将其替换为自己的资源;扩展不提供它们。

对于基于追踪来源的评估,请直接传递决策:

azd ai eval init \
  --source traces \
  --target support-agent \
  --judge-model judge-deployment \
  --name support-trace-eval \
  --no-prompt

若要评估已拥有的轮次数据集,请:

azd ai eval init \
  --source dataset \
  --evaluation-level turn \
  --target support-agent \
  --dataset golden-turns \
  --evaluator builtin.intent_resolution,builtin.task_adherence \
  --judge-model judge-deployment \
  --name turn-quality \
  --no-prompt

--dataset 采用本地 .jsonl 路径或已注册数据集的名称。 对于本地文件,请提供一个包含评估所需列的现有数据集。

--evaluator 可重复且逗号分隔。 builtin.<name> 用于内置评估器,或用于与评估级别兼容的已声明自定义评估器。 传递 --evaluator 将替换默认值;它不会提交生成作业。

create根据服务架构验证评估器可用性、支持的评估级别、初始化参数和必需列。 成功搭建文件并不证明每个评估器都可用或与你的数据兼容。

若要查看内置名称:

azd ai eval evaluator list --builtin

为已完成的对话评分

使用已完成聊天消息的数据集,而不使用智能体目标:

azd ai eval init \
  --name static-quality \
  --conversation-mode static \
  --dataset completed-transcripts \
  --judge-model judge-deployment \
  --no-prompt

静态模式不会写入目标或模拟配置。 它会拒绝显式的 --target。

与智能体模拟对话

使用方案种子数据集,并独立于评判器指定模拟用户的模型:

azd ai eval init \
  --name simulation-quality \
  --conversation-mode simulation \
  --target support-agent \
  --dataset scenario-seeds \
  --simulation-model simulator-deployment \
  --judge-model judge-deployment \
  --num-conversations 1 \
  --max-turns 5 \
  --no-prompt

智能体在你启动运行时被调用,而不是在 init 期间。 --num-conversations 将每个种子的对话数量设置为 1 到 5,默认值为 1。 --max-turns 接受 1 到 20;对于服务默认值,请省略它。 显式零对任一设置都无效。

在写入配置之前,init 会在本地验证可用的模拟种子,如果种子无效,则提示输入更正后的数据集。 如果指定--no-prompt 或 --output json,init 会拒绝无效的本地种子,而不更改已创作的文件。 它不会获取仅注册的数据集内容。

--simulation-model 接受部署名称,或接受在项目中选择 Azure OpenAI 连接的限定 connection-name/model-deployment 引用。 部署名称不需要连接查找。

将逐行轮次设置放在 simulation_configuration 下的种子中,而不是放在行的顶层:

{"test_case_description":"Ask about an order, then request a refund.","simulation_configuration":{"desired_num_turns":3,"max_num_turns":5}}

所需的轮次数必须为正数,且不得大于行的 max_num_turns,否则为 --max-turns,或默认为 20。 行的最大值会覆盖创作的最大值。 这两个设置都不能保证精确的已完成对话长度。

将三个模型角色分开:

选项 命令 Role
--generation-model generate 生成数据集或标准评估器。
--simulation-model init 模拟模式下 在运行期间充当模拟用户。
--judge-model init 配置评估器用于对结果进行评分的模型。

可以为多个角色显式选择相同的部署。 模拟模型不是从生成模型或判断模型推断出来的。

验证本地输入并选择名称

对于每个数据集模式,init 在创建配置文件、锁定文件、忽略文件或项目目录之前,会检查本地文件中是否存在非空的 JSONL 对象行。 格式不正确的 JSON、数组、标量、空对象和空数据集在没有这些写入的情况下会无法通过。 使配置目标与输入数据集分开;拒绝指向同一文件的等效路径。

显式 --name 优先。 否则,名称标识数据集或跟踪源、评估级别以及静态或模拟模式。 不会重命名现有声明。 仅当描述性名称已存在时,才会添加数字后缀。 静态评估可以使用单个本地代理作为命名提示,而无需调用它。

在Windows,请避免包含 command-shell 环境变量语法的文件名,例如%TEMP%。 shell 可以在扩展接收路径之前展开该文本。

生成数据集和评估器

如果你没有数据集,或者希望为本智能体编写评分规则,请使用其指令进行提示种子生成:

azd ai eval generate \
  --from prompt \
  --target support-agent \
  --generation-model generation-deployment \
  --no-prompt

默认情况下,这将同时生成一个数据集和一个评分标准评估器,并将它们下载到 evals/ 下,同时分别在 evals/azure.eval.yaml 中为两者添加目录条目。 添加参数 --dataset 以仅生成数据集。 若要仅生成评估器,请添加 --evaluator 和删除 --from prompt,因为 --from 仅适用于数据集生成。

此无人值守的示例使用 --from prompt。 如果扩展无法读取目标代理的说明,请提供 --agent-instruction-file <path>。 使用--from agent 的智能体种子生成是另一项选择;--no-prompt 不会授权在服务失败后进行第二次可计费的仅提示重试。

使用--max-samples 请求 15 到 1000 行(默认值:15)。 该值是生成服务的请求,因此请检查生成的数据集的行计数。

generate 提交成本模型调用的作业。 若要提供自己的生成说明,请使用 --agent-instruction 或 --agent-instruction-file。 描述代理的实际目的以及需要测试的内容。

若要为模拟对话生成方案种子,而不是轮次级示例:

azd ai eval generate \
  --dataset \
  --from prompt \
  --target support-agent \
  --evaluation-level conversation \
  --generation-model generation-deployment \
  --dataset-name scenario-seeds \
  --max-samples 15 \
  --no-prompt

生成的聊天数据集包含种子,而不是完整的对话记录。 建议的 init 命令选择模拟模式并保留自定义 --path。 使用模拟和判定模型部署完成它;无人参与使用时还需要 --no-prompt。

目录条目不会将构件附加到现有评估。 使用生成的数据集名称运行 init,或更新 evals/azure.eval.yaml 中预期的评估。 跟踪源评估将继续读取跟踪,直到配置数据集源评估。

要提交这两个作业并在之后收集其工件:

azd ai eval generate \
  --from prompt \
  --target support-agent \
  --generation-model generation-deployment \
  --no-wait
azd ai eval job list --dataset
azd ai eval job show <dataset-job-id> --dataset
azd ai eval job list --evaluator
azd ai eval job show <evaluator-job-id> --evaluator

使用每个作业的不同 ID 及其对应的 --dataset 或 --evaluator 标志。 在作业运行时,job show 在不收集工件的情况下报告其状态。 该作业成功后再次运行 job show 以下载并声明其工件,然后将工件附加到你的评估。

提供生成说明和名称

生成的条目和准则仅与描述代理的说明一样具体。 generate 使用存在的第一个源:

  1. --agent-instruction 或 --agent-instruction-file。
  2. azd ai agent optimize 在智能体服务文件夹的.agent_configs/baseline/下留下的基线指令。
  3. 随代理一起发布的说明。
  4. 交互式提示。 选择“输入说明”或“从文件加载”。 在文件提示符下,输入非空文本文件的路径,而不带 shell 引号。 可以在不重新选择其他项的情况下更正不可读或空文件,或在提交作业之前取消。

使用--no-prompt 或 JSON 输出时,缺少指令会产生错误,错误中会指出--agent-instruction 和 --agent-instruction-file,而不是提供提示。 确认标识指令源,而不是其内容。

单行指令生成通用行。 对于未发布其指令的托管代理(例如自带代码代理),请传入 --agent-instruction 或 --agent-instruction-file,并附上该代理的用途、其处理的请求类型、其策略以及你想要测试的边缘情况。

生成的工件名称使用代理声明的已部署名称,而不是其本地服务密钥或指令源。 原始目标选择器仍决定生成请求。 生成的数据集名称具有 50 个字符的限制。 长默认值以确定性方式缩短,而过长的显式 --dataset-name 则会失败,而不是被截断。 此限制不会重命名现有工件,也不适用于评估器名称。

编辑评分量表文档

生成、已完成作业收集和评分规则下载会生成一个可编辑的 JSON 文档,其中包含 type: "rubric"、dimensions 和可选的 pass_threshold。 每个维度包括id、description、weight和always_applicable。 文档保留其他创作的定义和维度字段,包括数值精度。 权重是 1 到 10 的整数。 提供的阈值介于 0 和 1 之间。

服务信封、生成的接线和目录元数据不是评分规则字段。 如果您未显式替换现有目录元数据,则发布已编辑的准则会保留这些元数据。 基于提示的评估器文档保持独立。 使用 azd ai eval evaluator show <name> --version <version> -o json 检查完整的服务响应。

在依赖生成的准则之前,先读取生成的准则。 根据简短指令写成的评分标准几乎能在每个条目上过关,这使得它的把关作用较弱。 收紧尺寸和 pass_threshold尺寸,然后再次运行 create 。

查看 azure.eval.yaml

查看 init 写入的文件。 基于跟踪数据的评估如下所示:

evals:
    - name: support-trace-eval
      description: Basic quality evaluation for support-agent
      source:
        type: traces
        lookbackHours: 168
        maxTraces: 20
        agentName: support-agent
      evaluationLevel: turn
      evaluators:
        - evaluator: builtin.task_completion
          initializationParameters:
            model: judge-deployment

轮次数据集评估指定数据集而不是跟踪源,并记录其面向的智能体。 前面的turn-quality命令传递已注册的数据集名称,因此它会写入此文件并在datasets目录中声明golden-turns,而无需本地文件:

datasets:
    - name: golden-turns
evals:
    - name: turn-quality
      description: Basic quality evaluation for support-agent
      dataset: golden-turns
      evaluationLevel: turn
      evaluators:
        - evaluator: builtin.intent_resolution
          initializationParameters:
            model: judge-deployment
        - evaluator: builtin.task_adherence
          initializationParameters:
            model: judge-deployment
      target:
        type: agent
        name: support-agent

本地数据集使用 file: 为其行命名,自定义评估器使用 source: 为其准则命名。 这两个路径都相对于配置文件。 如果传递本地路径(例如 --dataset tests/support-golden.jsonl),当配置为 file: ../tests/support-golden.jsonl 时,init 会声明一个名为 evals/、具有 support-golden 的数据集。 注册的数据集可以在不使用本地文件的情况下声明其 name 和可选 version。

生成的 .jsonl 和计算器 JSON 是普通文件:编辑它们,然后再次运行 create 以注册新版本。

提交此文件。 这是评估的可重现部分。

查看评估器输入映射

对于标准数据集和跟踪,默认映射仅包含以下评估器输入:

评估级别 默认映射(使用 dataMapping 覆盖)
轮数 query: "{{item.query}}"、response: "{{item.response}}"、tool_calls: "{{item.tool_calls}}"、tool_definitions: "{{item.tool_definitions}}"。
对话 messages: "{{item.messages}}",tool_definitions: "{{item.tool_definitions}}"。

生成和检索的输出保留各自独立的溯源信息。 模型输出使用 sample.output_text。 代理输出和存储的响应根据评估器的响应类型使用 sample.output_items 或 sample.output_text。 代理生成的工具使用相应的 sample 字段。 用于筛选跟踪的代理名称不会调用该代理或将跟踪字段转换为生成的输出。

显式映射将替代相应的默认值。 使用 messages 或轮次 query/response 格式中的一种,不要同时使用两者。 扩展不会推断 context 或 ground_truth,即使数据集包含这些列也是如此。 提供真正的支持数据并显式映射其他评估器输入。

在发布依赖项之前,扩展会检查每个适用的数据集行中是否存在主映射输入。 不强制使用可选工具列,并且生成的输出不会被误认为是数据集输入列。 仅映射正确并不能保证接地性或其他托管评估器结果成功。

有意识地迁移现有评估

存储的映射是不可变的。 升级扩展不会替换现有评估中的映射。 对于有计划的迁移:

  1. 记录旧的评估 ID,并用azd ai eval show <eval-id> -o json检查它。
  2. 从要迁移的声明中删除显式 id:,或创建单独的未固定的声明。 显式 ID 会继续选择旧定义。
  3. 设置预期的 dataMapping 条目,并将评估器引用的条件更改为 name。 仅更改评估组的名称是不够的。
  4. 运行 azd ai eval create <eval-name>,然后在开始一次运行之前检查生成的 ID 和映射。

以前的评估及其运行仍可通过已记录的 ID 访问。 更改源模式会在存储的输入协定不同时创建新的定义。 仅更改兼容的运行筛选器、时间窗口或响应 ID 不会丢弃历史记录。

创建并运行 eval

使用 create 注册所选评估及其声明的数据集和评估器。

其余部分中的命令使用 support-trace-eval。 将其替换为所选初始化示例中的名称:turn-quality、static-quality 或 simulation-quality(用于数据集评估)。

azd ai eval create

如果配置只声明一个评估,则可以省略其名称。 否则,请选择一个带有 azd ai eval create <eval-name> 的选项。

然后运行它:

azd ai eval run start

run start 默认会等待运行完成,并打印一个按评估器列出的表格,其中包含通过率和平均得分,以及门户中该运行的链接。 使用--no-wait提交并返回。

如果该配置声明了多个 eval,请指明你所指的是哪一个:

azd ai eval run start --eval support-trace-eval

选择数据集版本和控制运行大小

已注册数据集运行会保留所选数据集版本的服务签发标识。 版本选择使用声明的目录 version,然后是记录的发布,然后使用最新的服务版本。 发布后保留本地 file 条目不会让该运行改为使用本地行。

已注册数据集不支持正 --max-samples 值或评估级别 maxSamples 设置。 即使上限超过数据集的行计数,该命令在提交运行之前会拒绝它。 该命令不会以无提示方式忽略上限、将已注册的数据集替换为内联行或发布临时子集。

移除已配置的上限以评估整个所选版本。 对于在 azure.eval.yaml 中声明的轮次或静态数据集评估,您可以显式覆盖已配置的上限:

azd ai eval run start --eval turn-quality --max-samples 0

省略 --max-samples 仍会使用已配置的 maxSamples。 显式设置为 0 会禁用对所声明评估的上限;这并不意味着零行。 负值无效。

对于模拟,请完全从评估配置中删除 maxSamples 。 --max-samples 0 不会修复声明正数上限的无效模拟配置。

对于规模较小的已注册运行,请有意发布较小的数据集,并在 datasets 目录中声明它。 选择其目录名称,而不是文件路径或 URI:

azd ai eval run start --eval turn-quality --dataset small-golden

此示例假定 small-golden 已注册、声明并与评估的列架构兼容。 运行前移除任何正数上限。

内联行和正数上限仅适用于本地未注册的数据集,且命令会先验证服务中不存在这些数据集。 失败或结果不明确的查找会停止运行,而不是回退到本地行。 在评估本地编辑之前,将本地编辑发布到已注册的数据集。

对于基于追踪源的评估,在配置中使用 source.maxTraces 或 init --max-traces,而不是 run start --max-samples。 通过裸评估 ID 重新运行时,会重用其先前的源,并拒绝显式的 --max-samples(包括零);请使用已声明的评估名称来选择其配置的数据集。

查看结果

摘要会告诉你质量是否发生了变化。 每个样本对应的行说明了原因:

azd ai eval run output list --eval support-trace-eval
azd ai eval run output list --eval support-trace-eval --failed-only

要查看运行随时间的变化趋势,以及服务为某个评估保留的数据:

azd ai eval list
azd ai eval run list --eval support-trace-eval
azd ai eval show support-trace-eval

show 返回项目中的 eval 标识(ID、名称、创建时间以及创建者),并在可用时返回其评估者和数据源类型。 评估所执行的操作位于你的 evals/azure.eval.yaml 中。

run list 每次运行包含一个通过率。 每个评估器的细分结果位于 per_testing_criteria_results 下的 -o json 中,因为一旦不同运行使用了不同的评估器,按评估器分列的方式就无法清晰阅读了。

若要在其他地方获取结果,请执行以下操作:

azd ai eval run output list --eval support-trace-eval --output-file rows.json
azd ai eval run output export --eval support-trace-eval --output-file run.json

两者不同,而且这种差异很重要:run output list --output-file 会将行写为 JSON(并应用任何--failed-only 或--status 筛选器),写入每一行,除非你设置 --limit。 run output export将完整运行写为一个 JSON 文档:既包含服务描述的运行,也包含其下每个已评估的行以及每个评估器的评分、判定和原因。 从该文件派生任何其他形式,例如 jq -c '.items[]' run.json > rows.jsonl。

对构建设置门禁

传递 --fail-on 以将运行转换为检查。 当运行结果未达到阈值时,该进程以非零状态码退出,管道便通过这种方式让导致质量退化的更改失败。

azd ai eval run start --eval support-trace-eval --fail-on pass-rate=0.8
azd ai eval run start --eval support-trace-eval --fail-on any-failure

如果没有 --fail-on,即使某次运行已完成但其中仍有失败样本,也仍会以 0 退出。 未通过的样本是正常评估的预期输出,而非工具错误,因此门禁功能默认不启用,需手动开启。

pass-rate 采用介于 0 和 1 之间的数字。 阈值如果不为 1,会在提交运行任务之前遭到拒绝,因此即使输错门禁条件也不会产生任何开销。

--fail-on 需要已完成的运行。 在 run show 上,将其与 --wait 配对。

将评估与项目的其余部分一起部署

该 init 命令将评估服务添加到 azure.yaml 中,因此评估是项目的一部分:

azd up

azd up 命令会预配项目,然后部署评估服务,以协调已声明的数据集、评估器和评估。 该 azd ai eval create 命令独立执行评估资源对账;它不会预配项目的基础结构。 没有可供预配的基础结构的项目,例如你使用 azd init --minimal 创建的工作区,没有任何可供 azd up 预配的内容。 在该项目中,运行 azd ai eval create 以注册评估。

更改代理并重新评估

更改代理后,请部署它:

azd deploy

对于跟踪源评估,请调用更新的代理,以便发出新的跟踪; run start 仅读取现有跟踪。 然后再次运行所选评估:

azd ai eval run start --eval support-trace-eval

当 azd ai eval run start 调用智能体时,它按名称标识该智能体,不会固定版本。 若要比较版本,请在部署更改之前运行评估,并为每次运行命名,以便区分它们:

azd ai eval run start --eval turn-quality --name baseline
azd deploy
azd ai eval run start --eval turn-quality --name updated

若要使用代理优化器改进托管代理,然后使用独立评估验证结果,请参阅 快速入门:优化托管代理。

对于受控比较,请使用源自数据集的评估,固定数据集和自定义评估器版本,并保持评分配置和阈值不变。 源自跟踪的运行可能会读取不同的交互,因此不能保证得到完全相同的案例集。

更改 evals/azure.eval.yaml 或生成的工件后,请再次运行 create,将其与项目协调。 以前的运行结果仍然可用,但重用评估不会固定将来的数据集或评估器版本。

最佳做法

  • 如果代理已在运行并发出跟踪数据,请从 --source traces 开始。 它记录已经发生的事情,无需编写任何内容。
  • 当你想要一组可跨版本比较的固定案例时,请切换到 --source dataset。
  • 在信任分数之前,先读取生成的数据集和量规。 检查生成上下文是否代表你需要测试的行为。
  • 使用多个评估器。 单个条件将移动数字而不告诉你原因。
  • 提交 evals/azure.eval.yaml 和生成的项目,以便评估结果可供审查。
  • 在 CI 中使用 --fail-on 设置门禁,并将阈值保持在真正发生回归时才会触发的水平。
  • 在部署更改后的智能体之前,请先运行命名基线,因为 run start 不会固定智能体版本。

局限性

  • 扩展处于预览状态,命令图面可以更改。
  • generate 会提交计费的作业。 azd provision 不创建数据集或评估器。
  • 基于跟踪的评估只能读取智能体已经发出的追踪数据。
  • azd 会合并扩展程序的退出代码,因此无论是门禁未通过还是操作故障,最终都会体现为非零退出。 阅读登机口信息来区分它们。
  • 使用合成测试数据,并且不共享包含凭据、令牌或凭据承载 URL 的日志。