监控Copilot Studio中的代理性能

Note

本文介绍了由 标准线束驱动的代理或代理流中使用的功能。

使用分析来了解您的智能体的表现如何,并确定需要改进的领域。

Copilot Studio 中的Monitor页面汇总了关键指标,并为代理的组件提供使用情况分析。 打开单个指标以探索底层数据。

Monitor 体验专为 对话型代理 和 自主代理量身定制。

监测服务遍及所有地区。 监控数据最长可保留 360 天。 可查看过去 28 天内的会话详情和转录信息。 分析中的时间和日期戳以协调世界时(UTC)为单位。 日期时间戳包括当天的开始和结束时间、会话时间以及代理数据中的任何其他时间标记。

Note

监控页面不会显示你在 Copilot Studio 中使用测试面板测试代理时完成的活动的分析数据。

授予对分析的仅限视图的访问权限

如果你是代理所有者,请使用 Analytics Viewer 共享角色共享该代理,以仅授予对其 监控 页面的访问权限。 要访问对话文字记录信息,该人还必须具有 Bot Transcript Viewer 安全角色。

了解更多请访问 分享代理人的分析。

Important

代理所有者只能与个人共享 Analytics 查看器角色,而不能与用户组共享。

要访问您代理人的 监控 页面:

  1. 请在 Copilot Studio 中打开您的代理。
  2. 在顶部菜单栏选择 “监控 ”。

Summary

Summary 区域使用 Copilot 生成关于您的代理的重要分析见解的 AI 摘要。 选择“ 查看更多” 以查看完整汇总的见解列表。

Copilot Studio 的监视器页面截图,显示了展开后的摘要卡片。

它通过为所选报告期间的常见主题和指标生成项目符号列表摘要,帮助您快速了解这些内容并识别智能体的改进领域。 该列表可以包括参与度指标、客户情绪和反馈,以及自上一报告期以来的趋势。

客户评论摘要(预览)

[此部分是预发布文档,需要更改。]

客户评论摘要帮助你从反馈和评论中了解客户对该客服人员的整体情感。 见解的优先级取决于相关注释的数量及其总体意义。 摘要会过滤掉低价值或无关的评论,并将相关反馈归类到一起。

Important

本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。

预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。

如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。

要向Microsoft反馈该部分,请选择“点赞”或“点踩”。 使用“向 Microsoft 提交反馈”面板添加评论并选择是否共享相关文件。

  1. 在向 Microsoft 提交反馈面板上,根据您选择的打开面板的图标,使用自然语言描述您的偏好。
  2. 选择是否分享提示、生成的回复、相关内容样本和额外的日志文件。
  3. 选择“提交”。

Overview

在 概览 区域查看高层次绩效摘要,然后更详细地探索各个指标。

活动用户

主动用户指标展示了对话式代理的采用情况及其随时间的变化。 活动用户是一个在报表期间至少与聊天代理交互过一次的唯一用户。 Monitor页面显示每日活跃用户(DAU)和月活跃用户(MAU)。 每日计数覆盖了整整24小时UTC时间。 月度计数与UTC的日历月份相符。

Important

只有在将代理设置为要求在“设置安全>身份验证”>下进行身份验证时,才支持活动用户指标功能。

监视器选项卡上“概览”部分的截图,其中“平均 DAU”用方框标出,并显示已选择详细的“活跃用户”面板。

所选时间段的平均 DAU 及其与上一个时间段的百分比变化,在 “概述 ”部分中显示为关键绩效指标(KPI)。

Note

平均 DAU 计算指标的公式为: (sum of all full-day active user counts in the period) / (count of full days in the period)。

若要查看有关每日和每月活动用户随时间推移的计数的更多详细信息,请选择概述面板右上角的“ 查看活动用户 ”按钮。

仅限对话

Copilot Studio 中的对话代理分析会跟踪用户与代理的互动情况,并尝试反映您的代理在处理用户任务方面的表现。

对话分析使用以下概念和术语:

  • 对话是 频道 上特定用户或用户群体与你的客服之间持续进行的互动。

  • 对话可以暂停并在稍后恢复,也可以转接给客户服务代表。 对话可能是单向的,可能是客户与客服,或客服对客户,但更常见的是客户与客服之间的来回互动。

  • 对话在 30 分钟不活动后超时。

  • 对于发布到电话通信频道的代理,会话将在结束会话事件后3分钟自动超时。

  • 一个对话可以包含一个或多个分析会话。

  • 由标准框架驱动的分析会话会与用户最后触发的自定义主题关联。 如果会话中没有自定义主题,那就是用户直接触发的最后一个系统主题。

仅事件触发器会话

自治智能体是具有事件触发器的智能体。 这些代理仅支持带触发器代理的分析功能。

针对带有触发器的智能体的分析会话会跟踪智能体从接收触发器的有效载荷到执行响应操作的整个过程。 这些分析会话会记录您的智能体正在响应什么,以及其表现如何。

Note

如果触发器失败,智能体未收到触发器有效负载,分析会话无法开始。 分析仅跟踪已成功触发的运行。

混合视图 - 会话和事件触发会话

当你的代理数据在报告期间内包含至少一个对话会话和至少一次基于触发器的运行时,监控页面会显示一个用于展示对话会话和自主会话相关指标的混合视图。 在此视图中, 概览 和 效果 部分并列展示了对话会话和事件触发会话的指标。 使用部分可以在对话和运行之间进行选择,仅显示相关数据。 选择 “全部 ”会显示所有与使用相关的数据。 “满意度”部分显示会话的满意度指标。

若要了解详细信息,请参阅:

下载对话记录

您可以在 Copilot Studio 中下载过去 28 天内的会话转录文本。 分析会话结束后,相关数据可能要等上一个小时才能显示在分析仪表盘上。 了解更多关于可用性、权限及下载步骤的信息,请参阅Copilot Studio 中下载对话文字稿。

Dataverse的文字记录保存与Copilot Studio的28天会话数据窗口是分开的。 在Power Apps 中下载对话文字稿中了解更多信息。

主题使用情况分析

在Copilot Studio中,主题定义代理会话的进度,并表示用户和代理之间的对话的一部分。 主题监控面板显示单个主题的表现,包括触发频率、包含该主题的会话如何解析,以及用户对这些会话的满意度。 利用这些洞察识别经常被转人工处理或被放弃的话题,并优先改进。 在 “创建和编辑”主题中了解详细信息。

Note

主题监视器仅适用于由标准框架驱动的代理以及与 会话相关的主题。 如果您的代理使用生成式编排,则应改为在监控页面使用对话结果和主题。

要查看主题监控面板:

  1. 访问你在Copilot Studio中的话题页面。

  2. 选择要分析的主题。 如果没有可用的主题,请参阅 “创建和编辑主题”。

  3. 在 主题 页面右上角,选择 “更多 ”(...) >监控。

主题的“更多”菜单截图,突出显示“监控”选项。

Monitor 主题面板显示:

  • 主题结果:显示触发此主题的会话的会话结果、Escalated、Resolved和Abandoned的图表。 使用此图表可快速评估主题健康状况。 高比例 Escalated 或 Abandoned 结果可能意味着主题需要改进。
  • 主题总使用量:主题结果随时间变化趋势的图表。 使用此功能来识别回归问题,例如在某个主题被编辑后已放弃会话数激增,或确认最近的更改提高了解决率。
  • 客户满意度评分:基于与本主题相关会话的用户调查回答的得分。
  • 满意度评分趋势:一张显示 满意度评分 随时间变化的图表。 使用此趋势来确定用户情绪下降或改进的时间段。

要更改时间范围,请在主题“监控”面板顶部选择“时间范围”下拉菜单。

指标刷新率

监视器页面上的指标更新频率不同。 下表显示了更新数据何时可用。

指标类型 刷新率 Metrics
常规指标 最多两小时 会话、用户问题、知识来源、工具、已连接的代理、反馈、会话结果、节省量、AI 摘要
人工智能指标 日常 响应质量、 情感分析、 主题分类、 自定义指标
主题生成 周刊 生成的主题
成本 几个小时 成本消耗

Note

主题分类和主题生成具有不同的刷新率。 新问题每日按主题分类,生成的主题列表每周更新。

衡量人工智能代理的投资回报率(ROI)和业务价值