评估操作质量、可靠性和成本时,请考虑选择代理主机,例如Microsoft Copilot(声明性代理)、Copilot Studio(自定义代理)或Azure。 将这个决定与代理编写方法分开。 代理运行或托管地点决定了其编排能力、模型访问和运营特性。 这些功能直接影响到大规模操作解决方案的响应质量、性能和成本。
本文解释了代理主机平台如何影响解决方案的能力。 你将了解,不同的编写方法如何在同一宿主平台上创建代理,同时保持一致的质量和行为;同一种编写方法又如何在不同平台上创建出质量和行为结果各异的代理;以及宿主如何影响解决方案的成本构成。
成本作为可操作性注意事项
将成本视为稳定状态的操作特征,而不是一次性采购问题。 两种解决方案可以产生相同的答案,同时因成本数量级而异,因为成本由代理运行 方式 驱动,而不仅仅是它返回 的内容 。 宿主平台基本上决定了你可用的调控手段:
- 每个交互的令牌消耗量。 模型在给定轮次上处理的每个指令、知识片段和工具定义都会在该轮次上计费。 每次交互时加载的静态上下文,无论是否相关,均按每次交互计费。
- 模型迭代次数。 编排器决定完成一项任务所需调用模型的次数。 更多的工具调用循环和更多的重新规划意味着更多的推理。
- 模型选择。 较大的推理模型每个词元的成本更高,还会增加延迟。 主机确定哪些模型可用,以及是否可以将不同的步骤路由到不同的模型。
- 决定论。 确定性的工作根本不需要模型推理。 将其放入代码或操作中,可以同时消除 token 成本和可变性。
后面的部分细分了影响成本最高的控件:业务流程工具、模型选择以及构建指令与确定性操作的方式。
Microsoft Copilot托管
Microsoft Copilot 为声明性代理提供具备内置治理、安全性和合规能力的托管环境。 无论你用哪种创建代理的创作方式,该平台都能提供一致的性能特性。
例如,可以使用 Microsoft Copilot、Copilot Studio 或 Microsoft 365 Agents Toolkit中的代理生成器功能创作声明性代理。 代理主机决定开发者可用的编排、目录和语言模型选项。 这些选项是影响响应质量的最大因素。 在运行稳态阶段,创作和创建平台应作为解决方案的次要标准。
不同的创作平台提供不同层次的运营能力,适合不同的组织需求和开发生命周期阶段。 只要底层代理主机始终为 Microsoft Copilot(声明式代理),当你在不同的创作画布之间切换以满足你的操作需求时,质量始终保持一致。
下表总结了声明式代理使用哪种创作平台的考虑因素,作为示例。
| 要求 | Copilot 中的代理生成器功能 | Copilot Studio | 专业编程 |
|---|---|---|---|
| 解决方案所有者 | 个人 | Group | Enterprise |
| 更新与维护 | 无版本控制 | 带有锁定编辑功能的版本控制 | 版本控制与并发编辑 |
| 评估框架 | 测试小组 | 测试面板与专业代码 | 完全可自定义 |
| CI/CD | 没有 | Some | 是的 |
| 实时监视 | 没有 | 没有 | 是的 |
| Telemetry | Limited | Some | 完全可自定义 |
| 成本/投资回报 | 已包含在 Microsoft Copilot 中 | 从许可到消费范围 | 完全可根据专业代码选择进行定制 |
| Work IQ 消耗成本 | Work IQ grounding 已包含在 智能 Microsoft 365 Copilot 副驾驶® 许可证中;未获许可的用户将按使用量计费 | 基于 Copilot 额度的按用量计费(即用即付或预付费) | 通过 Work IQ API 基于 Copilot 额度的按用量计费;在 Microsoft 365 管理中心按量计费并设有上限 |
例如,当代理调用 Work IQ 来获取上下文、执行检索或采取操作时,这类使用会按不同标准计费,所需积分成本会随着场景复杂度而变化,其中包括上下文大小、推理深度和步骤数量。
Note
不存在单独的 Work IQ 订阅、SKU 或单用户许可。 聊天和上下文成本各不相同,因此两个相似的智能体可能消耗截然不同的信用额度,这取决于它们所依赖的上下文量以及执行的多步骤推理量。 使用Microsoft 365 管理中心中的成本管理仪表板监视信用额度使用情况,并为租户、组和用户设置支出限制。 《为成本优化而架构》中提到的成本优化模式——最小化始终在线的上下文,并将确定性工作转移到脚本和操作中——有助于控制 Work IQ 的支出。
还要考虑其他因素,比如提升开发者效率和调试工具(未在表中显示)。 请记住,这些因素很大程度上受贵组织安全态势及其对特定开发平台的能力影响。
将Microsoft Copilot代理生成器中内置的声明性代理提升为使用 Microsoft 365 Agents Toolkit 创作的声明性代理。 该策略使 Microsoft Copilot 持续充当编排器,以确保智能体行为的一致性。 如果在 Copilot Studio 中构建的实验性自定义代理满足概念验证评估标准,并且企业运营需要源代码管理,则将代理提升到 Power Platform 中托管的 pipeline。 此方法可确保 Copilot Studio 业务流程协调程序仍然是维护代理行为的主要机制。
编排与智能体框架
编排器(即控制框架)是一个运行时循环,负责规划步骤、选择并调用工具、管理上下文窗口,并决定任务何时完成。 它是响应质量和运营成本的单一最大驱动因素,因为它控制了模型轮次的发生次数、每个轮次累积的上下文量,以及工具结果如何反馈到模型中。
由于宿主平台提供编排器,因此对宿主平台的选择在很大程度上决定了你的成本和延迟范围:
- Microsoft Copilot提供托管的业务流程协调程序。 你可以获得可预测且包含许可证费用的成本,以及一致的行为表现,但对循环本身的控制能力有限。
- Copilot Studio 提供可配置的编排(例如主题和生成式编排)。 成本范围从基于许可证到基于消耗量,具体取决于你委托给模型的生成工作量。
- Azure 和专业代码让你完全掌控整个循环。 评估代码维护成本与利用 Copilot SDK 等维护良好的框架或 SDK 相比的成本。
当主机提供这些能力时,关键的编排控制手段包括:
- 回合预算。 限制或调整业务流程协调程序在返回之前执行的规划和工具调用迭代次数。
- 并行与顺序工具调用。 并发运行独立的工具调用以减少延迟。 尽可能合并呼叫以减少轮次。
- 上下文管理。 对对话进行裁剪、摘要或窗口化处理,以防止上下文无限增长,从而使每轮的令牌成本保持基本不变,而不是不断累积上升。
- 缓存。 跨轮次或跨会话重复使用缓存的提示前缀,以避免对固定上下文重复计费。
Note
能力更强的编排器可以同时提高质量和成本。 使编排的复杂程度与任务相匹配。 简单的查询代理不需要多步骤生成式规划,为此付费只会徒增成本,却无法改善效果。
模型选择
选择的模型会影响每个令牌的成本和延迟,这在很大程度上独立于创作方法。 较大的推理模型在复杂任务上提供更高质量的结果,但每个令牌的成本更高,响应速度更慢。 应根据任务难度选择匹配的模型,而不是对每项任务都默认选择能力最强的选项。
在主机支持时为模型路由设计架构:
- 为真正困难的步骤保留边界推理模型,例如模棱两可的推理、合成或开放式生成。
- 将确定性或简单的子任务 (例如分类、提取、格式设置和路由决策)路由到更小、更便宜、更快的模型。
- 当编排器支持按步骤选择模型时,可在单个智能体内混合使用多种模型,这样每个步骤只需为所需的功能付费。
主机平台确定目录中的哪些模型、是否可以按步骤路由、最大上下文窗口(较大的窗口允许更多上下文,但每个轮次的成本更高),以及提示缓存是否可用。 在主机决策过程中验证这些功能,因为它们限制以后可以执行的模型级成本优化。
面向成本优化的架构设计
除了选择主机、编排器和模型之外,如何组织代理的指令和行动也会对成本产生直接且持续的影响。 两个原则指导经济高效的设计:
不要为可通过确定性方式完成的工作支付模型推理成本。 将确定性操作捆绑到脚本、操作或连接器中,而不是将它们描述为模型必须在每次运行时解释的自然语言指令。 代码执行一次,价格便宜,具有可预测的输出,无令牌成本,可变性更少。 对于同一流程,每次使用自然语言都需要进行推理,并且可能产生不一致的结果。
不要为很少使用的指令支付常驻令牌费用。 即使它们与用户的请求无关,预加载的代理级指令也会在每个交互的轮次上计费。 只在任务匹配时才按需加载指导内容和知识,这意味着你只会在实际使用这部分上下文时为其付费,而不是持续付费。 这种渐进式披露模式使每个交互的基线成本保持较低。
下表总结了何时将指令预加载到代理中,而不是何时将工作推送到确定性脚本或按需资源。
| 在…时预加载代理级指令 | 在以下情况下,请使用脚本、操作项或按需资源…… |
|---|---|
| 此行为适用于几乎每个交互(核心角色、语气、安全防护措施)。 | 此行为特定于任务,或仅偶尔相关。 |
| 指导简短且始终相关。 | 本指南很长,或者由大量参考或知识材料提供支持。 |
| 模型确实需要推理或调整行为。 | 该操作是确定性的、可重复的,并且具有定义完善的输出。 |
| 额外的检索或工具调用的延迟会损害体验。 | 在每个回合中携带上下文的令牌成本,远高于偶尔加载的成本。 |
一个成本高效的智能体应将其始终在线的指令保持在最低限度,并专注于身份识别和安全。 它以脚本或操作的形式处理固定过程,并提供专业知识和任务特定的指导,作为仅当相关时加载的按需资源。 此方法可降低每次交互的令牌成本,使行为更具可预测性,并使核心提示更小、更易于维护,而无需牺牲功能。
后续步骤
了解如何通过评估框架衡量代理质量、验证不同场景下的性能,并确保部署前的运行准备。