你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

生成 AI 中的可观测性

AI 应用程序生命周期需要可靠的评估框架,以确保 AI 系统提供准确、相关且可靠的输出。 如果不进行严格的评估,AI 系统可能会生成不准确、不一致、基础差或可能有害的响应。 可观测性使团队能够在整个开发生命周期内衡量和提高 AI 输出的质量和安全性,从模型选择到生产监视。

什么是可观测性?

AI 可观测性是指在整个生命周期内监视、理解和对 AI 系统进行故障排除的能力。 可以跟踪、评估、将自动化质量入口集成到 CI/CD 管道中,并收集评估指标、日志、跟踪和模型输出等信号,以便深入了解性能、质量、安全和操作运行状况。

核心可观测性功能

Microsoft Foundry 提供了三种核心功能,共同在 AI 应用程序生命周期内提供全面的可观测性:

评价

评估衡量整个开发和生产过程中模型和代理输出的质量、安全性和可靠性。 可以评估现有数据集、从测试输入生成响应、评估生产跟踪或模拟对话。 Microsoft Foundry 提供内置评估程序,包括通用质量指标(一致性、流畅性)、特定于 RAG 的指标(基础性、相关性)、安全和安全(仇恨/不公平性、暴力、受保护材料)和代理特定的指标(工具调用准确性、任务完成等)。 还可以构建根据特定领域要求定制的自定义评估器。

若要选择评估工作流,请参阅 Microsoft Foundry 中的评估。 有关可用指标的完整列表,请参阅 内置评估器参考。

监测

生产监视可确保部署的 AI 应用程序在实际条件下保持质量和性能。 与 Azure Monitor Application Insights 集成,Microsoft Foundry 提供实时仪表板来跟踪操作指标、令牌消耗、延迟、错误率和质量分数。 当输出质量阈值失败或产生有害内容时,可以设置警报,从而快速解决问题。

有关设置生产监视的详细信息,请参阅 “监视代理”仪表板。

跟踪

分布式跟踪捕获 AI 应用程序的执行流,提供 LLM 调用、工具调用、代理决策和服务间依赖项的可见性。 基于 OpenTelemetry 标准并与 Azure Monitor Application Insights 集成,跟踪支持调试复杂的代理行为、识别性能瓶颈以及了解多步骤推理链。 Microsoft Foundry 支持跟踪常用框架,包括 LangChain、LangGraph、OpenAI 代理 SDK 和 Microsoft 代理框架。

有关实现跟踪的指导,请参阅 跟踪代理概述。

什么是评估者?

评分方法是用于衡量模型或代理输出中特定质量、安全性和可靠性特征的方法。 一些评估器使用确定性计算,而 AI 辅助评估程序则使用判断模型对响应进行评分,并提供解释。

有关选择评估方法的帮助,请参阅Microsoft Foundry 中的评估。 有关内置评估器的完整列表,请参阅 内置评估器参考。

评估器集成到 AI 生命周期的每个阶段,以确保可靠性、安全性和有效性。

AI 应用程序生命周期示意图,其中显示了模型选择、构建 AI 应用程序和可操作性。

AI 应用程序生命周期评估的三个阶段

基本模型选择

通过比较不同模型的质量、任务性能、道德注意事项和安全配置文件来选择正确的基础模型。

Tools available:Microsoft Foundry 基准用于比较公共数据集或自己的数据的模型,以及用于 测试特定模型终结点的 Azure AI 评估 SDK。

预生产评估

在部署之前,彻底的测试可确保 AI 代理或应用程序已准备好生产。 此阶段通过评估数据集验证性能、标识边缘事例、评估可靠性,并衡量关键指标,包括任务遵循性、基础性、相关性和安全性。 要构建支持多回合对话、工具调用和状态管理的可直接投入生产的智能体,请参阅 Foundry 智能体服务。

具有六个步骤的模型和应用程序的预生产评估示意图。

评估工具和方法:

生产后监视

部署后, 持续监视 可确保 AI 应用程序在实际条件下保持质量:

  • 操作指标:定期度量关键 AI 代理操作指标
  • 持续评估:以采样率对生产流量的质量和安全评估
  • 计划评估:使用测试数据集检测系统偏移的计划质量和安全评估
  • 计划红队对抗测试:计划性对抗测试,以探测安全和保障漏洞
  • Azure Monitor 警报:当输出未达到质量阈值或产生有害内容时的通知

Foundry 可观测性仪表板与 Azure Monitor Application Insights 集成,提供对性能、安全性和质量指标的实时见解,从而实现快速问题解决和维护用户信任。

评估快速参考

目的 过程 参数、指南和示例
如何设置跟踪? 配置分布式跟踪 跟踪概述

使用代理 SDK 进行跟踪
你正在评估什么? 识别或构建相关的评估程序 内置计算器

自定义评估器

Python SDK 示例

C# SDK 示例
应使用哪些数据? 上传或生成相关数据集 选择数据源
如何进行评估? 选择并运行评估工作流 评估概述

铸造门户

Foundry SDK
我的模型/AI 应用程序如何执行? 分析结果 查看评估结果

群集分析
如何改进? 分析结果并优化代理 使用 群集分析分析评估失败。

优化代理并 重新评估。

查看 评估结果。

区域支持、速率限制和虚拟网络支持

若要了解哪些区域支持 AI 辅助评估程序、适用于评估运行的速率限制,以及如何为网络隔离配置虚拟网络支持,请参阅 区域支持、速率限制和虚拟网络支持进行评估。

定价

诸如风险与安全评估以及智能体操场中的评估等可观测性功能,将根据 Azure 定价页中列出的消耗量进行计费。

重要

所有 Foundry 项目默认启用代理操场中的评估,且评估包含在基于消耗量的计费中。 要关闭操场评估,请在智能体操场右上角选择指标,并取消选择所有评估程序。

Foundry 门户的截图,显示代理操作界面及所选指标。