配置基本语音代理

Note

本文介绍了由 标准线束驱动的代理或代理流中使用的功能。

本文介绍如何配置用于 Dynamics 365 Contact Center 应用程序 的基本语音 交互式语音响应(IVR)代理。 通常,基础的语音代理使用 经典的编排。 在 将支持语音的代理与 Dynamics 365 Contact Center 集成中了解详细信息。

开启基础语音

支持语音的代理与基于聊天的代理不同。 支持语音功能的智能体包含用于处理语音场景的特定系统主题。 基于聊天的代理使用 文本 形式。 支持语音的会话代理使用 语音和 DTMF 模式。 这两种形式是相互排斥的。

  1. 进入你代理人 的设置 页面,选择 语音。

  2. 选择“ 启用语音”。 将语音设为在主题中创建和更新内容的默认方式默认处于选中状态。

  3. 如果您计划在智能体中使用主题和经典编排,请选择基础。

Note

如果你计划为代理使用生成式编排,请选择实时语音。

启用 “启用语音 ”并 让语音成为在主题中创建和更新的默认形式时,代理将获取以下更新:

  • 当从文本切换到语音和 DTMF 时创作语音功能的能力。
  • 语音系统主题“静音检测”、“语音未识别”和“拨号盘未知按键”会自动添加,以处理与语音相关的场景。
  • 提高代理数据的准确性(默认情况下打开),可提高语音识别准确性。
  • 现有的智能体流不会改变(例如,主菜单主题可以通过映射的 DTMF 触发器开始对话)。

Important

  • “启用语音”设置仅更改语音创作功能,而不是通道设置。 为完全启用语音的代理打开电话服务渠道。
  • 此外,在最初未为语音功能配置的代理上设置 “启用语音 ”意味着代理没有 “主菜单”(预览版) 主题。 如果需要,您必须重新创建该主题。
  • 如果无法开启启用语音,请检查托管智能体的 Power Platform 环境,并确保该环境中的优先获取新功能已关闭。 更多信息,请参阅无法开启语音优化。
  • 仅在启用语音的代理使用触发短语时,通过代理数据提升准确性的设置才会生效。 如果代理配置为使用主题说明,则不会对准确性产生任何影响。

关闭语音优化

如果您不使用电话通信通道,请在智能体编写界面中关闭启用语音。 关闭 “启用语音”后,会看到以下更改:

  • 没有针对语音功能的智能体创作,例如 DTMF 和打断。
  • 设置默认的文本模态。
  • 没有语音识别方面的改进,因为没有语音识别功能。
  • 没有语音系统主题或全局 DTMF 主题。

    Note

    如果某些主题仍引用 DTMF 主题(现已关闭),则它们可能会在发布期间报告错误。

  • 无需更改代理流和渠道设置,因为关闭优化不会删除电话渠道。
  • 启用或禁用启用语音需在发布智能体后才会生效。 如果您不小心打开或关闭了它,并且代理在模式之间切换,您有时间修复它。

Important

如果已启用电话通信渠道,禁用启用语音可能会导致智能体无法正常工作,因为所有 DTMF 触发器都会被自动禁用。

使用语音作为主要创作模式

启用 “启用语音”时, “使语音成为在主题内创建和更新的默认形式 ”选项会自动打开。 如果关闭此选项,请确保在要添加语音消息的每个节点上选择 语音和 DTMF 形式。

消息可用性

使用文本或语音模态会对您的渠道产生不同影响。

文本模态 语音模态 代理人文本与语音通道
消息可用 消息为空 消息可用
消息为空 消息可用 消息不可用

自定义自动语音识别

特定域(例如医疗或财务)的语音启用代理可能会遇到使用财务术语或医疗行话的用户。 启用语音的代理难以通过语音转文本功能转换某些术语和行话。

Note

仅在启用语音的代理使用触发短语时,通过代理数据提升准确性的设置才会生效。 如果代理配置为使用主题说明,则不会对准确性产生任何影响。

若要确保准确识别语音输入,请改进语音识别:

  1. 在代理中选择 “设置>语音 ”。

  2. 选择使用代理数据提高准确性,启用代理的默认自定义自动语音识别设置。

  3. 选择保存提交更改。

  4. 发布您的智能体以查看新更改。

代理级别语音选项参考

使用 语音 设置来配置各种语音相关功能的超时时间。

更改智能体级超时选项:

  1. 进入你代理人 的设置 页面,选择 语音。

  2. 检查设置,做你想要的修改。

  3. 选择保存提交更改。 你调整后的设置会成为你在这个代理中创建主题的默认设置。

代理级设置

下表列出了每个选项以及它如何与节点级别设置相关。

启用语音的智能体级部分 设置 说明 默认值 节点级别替代
DTMF 数位间超时 等待下一个 DTMF 键输入时允许的最大时间(以毫秒为单位)。 仅在用户不满足最大输入长度时,才应用多位数 DTMF 输入。 3,000 毫秒 具有多位数 DTMF 输入的语音属性的问题节点
DTMF 终止超时 等待 DTMF 终止密钥的最大持续时间(以毫秒为单位)。 在用户达到最大输入长度并且未按终止键时应用限制。 仅适用于多位数 DTMF 输入。

在限制超时并且终止 DTMF 键未到达后,智能体将结束识别并返回截至该时间点的结果。

如果设置为“继续而不等待”,则代理不会等待终止键。 在用户输入最大长度后,代理将立即返回。
2,000 毫秒 具有多位数 DTMF 输入的语音属性的问题节点
静默检测 静默检测超时 等待用户输入时允许的最大静音(以毫秒为单位)。 该限制适用于代理未检测任何用户输入的情况。 默认是 无静音超时。 代理无限期等待用户输入。

语音静音检测对语音完成讲话后的时段进行计时。
无静音超时 具有多位数 DTMF 输入的语音属性的问题节点

用于配置静音检测和超时的系统主题(静音检测触发器属性)
语音收集 语句结束超时 限制适用于用户在语音期间或之后暂停的情况。 如果暂停时间长于超时限制,代理将假定用户已完成讲话。

话语结束超时的最大值为3000毫秒。 任何超过 3,000 毫秒的值都会被缩减为 3,000 毫秒。
1,500 毫秒 具有语音属性的问题节点
语音收集 语音识别超时 确定在用户开始讲话后,代理允许用户输入的时间。 默认数值为12,000毫秒(约12秒)。 无识别超时意味着无限时间。 智能体将重新提示该问题。 如果没有响应,语音已超出语音识别超时。 12,000 毫秒 具有语音属性的问题节点
延迟消息 发送消息延迟 确定在后台操作请求启动后,代理在发送延迟消息之前等待多长时间。 以毫秒为单位设置时间。 500 毫秒 长时间运行操作的操作节点属性
延迟消息 最短播放时间 即使在播放消息时后台操作完成,延迟消息也会播放最短时间。 以毫秒为单位设置时间。 5000毫秒 长时间运行操作的操作模式属性
言语敏感度 Sensitivity 控制系统如何平衡语音和背景噪音的检测。 降低对嘈杂环境、公共场所和免提操作的敏感度。 提高对安静环境、轻声细语用户或语音命令检测的灵敏度。 默认设置为 0.5。 0.5 此控件没有节点级覆盖。

Note

  • 具有较大触发短语和实体大小的智能体需要更长时间才能发布。
  • 如果多个用户同时发布同一个代理,你的发布操作可能会被阻止。 在其他人编辑完后,重新发布智能体。

在 关键概念中了解详细信息 - 发布和部署代理。

打开打断

当您允许打断时,智能体用户可中断您的智能体。 当代理用户不需要听到整个消息时,此功能非常有用。 例如,呼叫方可能已经知道菜单选项,因为他们过去听到过这些选项。 打开打断后,即使智能体未列出所有选项,智能体用户也可以输入所需的选项。

何时关闭打断

针对如下消息关闭打断:

  • 你最近更新的一条消息
  • 一个不应被打断的合规信息。
  • 第一个代理消息,确保代理用户能够获得新的或重要的信息。

Specifications

  • 插话功能支持智能体用户通过 DTMF 或语音进行中断。

  • 您可通过批次内每条消息控制插话权限。 在允许打断的每个节点之前按顺序放置 barge-in-disabled 节点。 否则,系统会将 barge-in-disabled 视为允许插话的消息。

    消息节点中允许插话与禁止插话的放置位置的屏幕截图。

    当一个批次队列处理完毕后,插话功能的自动设置将重置为默认状态。 后续消息的插话标记将控制插话行为。 当序列再次启动时,您可以放置打断已禁用节点。

Tip

如果多个连续的 消息 节点后面跟有一个 问题 节点,则这些节点的语音消息被定义为一批。 一个批处理从消息节点开始,并在问题节点上停止,该节点等待用户的输入。

避免对很长的消息禁用打断,尤其是在您期望智能体用户经常与智能体交互时。 如果您的代理用户已经熟悉菜单选项,请允许他们自助前往所需的目的地。

设置打断

  1. 选择 消息 或 问题 节点,并将所需的形式设置为 语音和 DTMF。

  2. 选择节点的三个点(...),然后选择 “属性”。

    • 对于消息节点,将在创作画布的一侧打开发送活动属性面板。

      选择允许打断。

    • 对于问题节点,将打开问题属性面板,然后选择语音。

      从语音属性中,选择允许打断。

  3. 保存主题。

配置静音检测和超时

静默检测允许你配置代理等待用户输入的时间,以及代理在未收到任何输入时所要执行的作。 静音检测在响应节点级别的提问时,或当智能体等待触发短语以开始新话题时最为有用。

你可以在代理层级配置主题的默认超时时间。

配置静默检测行为,当代理等待问题响应时

要覆盖 Question 节点的默认静音检测行为:

  1. 选择节点的三个点(...),然后选择 “属性”。 将打开问题属性面板。

  2. 选择 “语音”。 语音 属性面板 会出现。

  3. 对于静音检测超时,请选择所需的选项:

    • 使用代理设置:使用 全局设置 进行静音检测。
    • 此节点禁用:无限期等待回复。
    • 毫秒级自定义:等待指定时间后重复问题。
  4. 对于静默时重新提示次数,选择您想要的处理方式:

    • 重复最多两次
    • 别重复
    • 重复一次
  5. 可选地 ,配置一个重启提示消息。

  6. 对于 回退操作,选择所需的行为:

    • 挂断电话:结束对话。 这是默认行为。
    • 升级:将用户重定向到升级 系统主题。
    • 将变量设置为值:将输出变量设置为值并移动到下一个节点。 在 默认实体值中输入或选择您想要的数值。
    • 将变量设置为空(无值):清除输出变量并移动到下一个节点。 您可以稍后使用条件节点来检查变量是否有值。
    • 重定向到主题:将用户重定向到指定的主题。
  7. 可选地,展开 高级 并调整以下设置:

    • 言语结束超时:代理在用户完成说话后等待的时间。
    • 语音识别超时:代理开始响应后向用户提供的时间。

配置静默检测行为,当代理等待触发词时

若要当智能体等待触发短语时配置静音检测行为:

  1. 请前往“ 静音检测 系统”主题。

  2. 选择触发节点上的三个点(...)。 “ 沉默检测属性 ”面板出现了。

  3. 选择你想要的行为:

    • 使用代理设置:使用 全局设置 进行静音检测。
    • 该节点禁用:无限期等待触发短语。
    • 毫秒级自定义:等待指定时间后结束对话。

为长时间运行操作添加延迟消息

对于长时间后端操作,您的代理可以向用户发送消息,以通知用户流程运行时间较长。 消息渠道上的代理也可以发送延迟消息。

  • 延迟消息音频播放:循环播放直到操作完成。
  • 聊天中的延迟消息:当达到指定延迟时,只发送一次。

如果你希望代理在触发 Power Automate 流程后重复消息:

  1. 转到调用 Power Automate 流的主题。

  2. 选择动作节点的三个点(...),然后选择属性。 将打开操作属性面板。

  3. 选择发送消息。

  4. 在消息部分中,输入您希望代理说出的内容。 使用SSML 来修改消息的声音。 代理将重复该消息,直到流程完成。

  5. 可选地,调整代理在重复消息前应等待的时间以及消息的最小播放时间。

配置通话终止

若要将代理配置为结束呼叫并挂起,请添加新节点(+),然后选择 “主题管理>结束对话”。

突出显示了“主题管理”和“结束对话”的新节点菜单的屏幕截图。

检测应答机

可以将代理配置为检测应答计算机,并在代理用户的消息完成后向代理用户留下消息。 语音信箱检测系统主题允许您为智能体遇到用户语音信箱的场景创建自定义消息。 在 Message 节点中,定义代理遇到答录机时要留下的消息。

自动应答机检测主题截图,突出显示消息节点。

Note

如果自动应答机检测主题包含一个结束对话节点并终止对话,则智能体将在本次通话剩余时间内停止处理智能体用户的语音。 如果应答机检测未产生预期结果,请检查该主题是否在您想要捕获的语音之前就结束了对话。 参见 配置呼叫终止。

使用 SSML 设置语音合成格式

使用语音合成标记语言(SSML)更改代理在朗读消息时的声音。 例如,您可以更改口语的音调或频率、语速和音量。

与 HTML 类似,SSML 使用标记将要修改的文本括在一起。 在 Copilot Studio 中使用以下标记:

SSML 标记 说明 链接到语音服务文档
<audio src="_URL to an audio file_"/> 在标记内添加指向音频文件的 URL。 该文件必须可供代理用户访问。 添加录制的音频
<break /> 在单词之间插入停顿或中断。 在标记内插入中断选项。 添加断行
<emphasis> 要修改的文本</emphasis> 为单词或短语添加重音级别。 在开始标记中添加强调选项。 在要修改的文本后添加结束标记。 调整强调选项
<prosody> 要修改的文本</prosody> 指定对音调、音调线、范围、速率和音量所做的更改。 在开始标记中添加韵律选项。 在要修改的文本后添加结束标记。 调整韵律选项
<lang xml:lang="xx-XX"> 要修改的文本</lang> 使用多语言神经语音时,可在同一信息中调整发言语言。 调整发言语言

Note

使用 <audio src="_URL to an audio file_"/> 标记时,如果将 URL 存储在变量中,请先对 URL 进行编码,然后再将其插入消息中的音频 src SSML 标记中。 在将 URL 分配给赋值作中的变量时,使用 EncodeHTML Power Fx 函数对 URL 进行编码。

添加了 SSML 标记的语音消息的屏幕截图。

查找和使用标记

像 HTML 一样,SSML 使用标记将要修改的文本括在一起。

在 Copilot Studio 中使用以下标记:

  1. 选择 消息 或 问题 节点。 将模式更改为 语音和 DTMF。

  2. 选择 SSML 标记菜单,然后选择标记。

    用标记填充消息框。 如果消息框中已有文本,将在消息末尾追加标记的代码。

  3. 在要修改的文本周围添加开始和结束标记。 您可以组合多个标记,然后使用单独的标记自定义消息的各个部分。

Tip

您可以手动输入未出现在帮助程序菜单中的 SSML 标记。 请参阅 使用语音合成标记语言改进语音合成 了解详细信息。

将呼叫转接到代表或外部电话号码

可以将代理设置为将呼叫转接到外部电话号码。 Copilot Studio 智能体支持无条件转接到 PSTN 电话号码和直接路由号码。

Note

还可以使用 SIP X 标头来处理呼叫转移。 要了解更多信息,请参阅 为语音代理配置 SIP X 标头。

若要转接到外部电话号码:

  1. 在要修改的主题中,添加新节点 (+)。 在节点菜单中,选择主题管理,然后选择转接对话。

  2. 在转接类型下,,选择外部电话号码转接,然后输入转接号码。

  3. (可选)在电话呼叫中添加会话初始协议 (SIP) 用户间信息 (UUI) 头。

    此标头是 key=value 对的字符串,没有空格或特殊字符,已显示以供外部系统读取。

    1. 选择节点上的三个点(...),然后选择 属性。 将打开转接对话属性面板。

    2. 在 SIP UUI 标头下,输入要通过呼叫转移发送的信息。 转接至外部电话号码时,变量不受支持。

    Caution

    只发送字符串中的前256个字符。 该标头仅接受数字、字母、等号 (=) 和分号 (;)。 包括空格、花括号、圆括号或公式在内的所有其他字符均不受支持,它们可能会导致转接失败。

Tip

针对相应的国家/地区代码,在电话号码中包括 +。

目标电话号码的具有 SIP UUI 的转出必须使用直接路由。 公用电话交换网 (PSTN) 电话号码不支持 SIP UUI 标头转接。

要转移到代表,请参阅显式触发器。

使用语音变量

Copilot Studio 代理支持变量。 可以使用预定义变量或创建自定义变量。

Note

Copilot Studio 中启用了语音的代理支持上下文变量。 这些变量有助于在转移呼叫时将代理对话与Dynamics 365 Contact Center集成。

有关Dynamics 365 Contact Center中的上下文变量的详细信息,请参阅 Copilot Studio 机器人的 Context 变量。

当您转移时,此集成支持这些具有以下变量的方案:

Variable 类型 说明
System.Activity.From.Name String 智能体用户的呼叫方 ID
System.Activity.Recipient.Name String 用于拨打或连接到代理的号码
System.Conversation.SipUuiHeaderValue String 通过直接路由电话号码转接时的 SIP 标头值
System.Activity.UserInputType String 代理用户是否在对话中使用了 DTMF 或语音
System.Activity.InputDTMFKey String 代理用户的原始 DTMF 输入
System.Conversation.OnlyAllowDTMF 布尔 当设置为true时,语音将忽略语音输入。
System.Activity.SpeechRecognition.Confidence 编号 来自上次语音识别事件的置信度值(介于 0 和 1 之间)
System.Activity.SpeechRecognition.MinimalFormattedText String Copilot Studio 应用其专用自然语言理解模型之前的语音识别结果(作为原始文本)

Note

当您使用System.Conversation.OnlyAllowDTMF变量集设为true时,请确保使用以下配置:

  • 所有不预期用户输入的消息节点均已关闭 barge-in 功能,或其后紧跟带有适当 DTMF 映射的问题节点。
  • 当全局启用仅 DTMF 模式时,避免在各个 Question 节点之间发送信息性消息。
  • 使用逐题DTMF映射,而非仅全局DTMF配置以实现更好控制。

在“仅 DTMF”模式启用期间发送的信息性消息可能会导致平台生成空的 DTMF 语法,从而引发电话通信错误。 因此,采用逐题DTMF映射更为可取。