基础模型 API 的按词元付费优先模式

本页介绍基础模型 API 的按词元付费优先模式,包括其行为机制以及如何发送优先请求。

什么是按词元付费优先模式?

优先级按令牌付费(也称为优先级模式)是延迟敏感实时应用程序的按令牌付费功能。 若在发送请求时将 service_tier 参数设为 "priority",Azure Databricks 会优先接纳该请求,将其排在同一模型上标准“尽力而为”按词元付费流量的最前面。 这样,在高流量期间,可用性更加一致。

按词元付费优先模式支持按请求逐次启用,因此你可以向同一模型同时发送优先请求和标准请求。 这种模式不需要承诺容量,但其词元计费单价高于标准按词元付费请求。

Databricks 建议在以下情况下使用优先模式:

  • 与标准的按令牌计费模式相比,您需要更一致的性能和可用性,但尚未准备好承诺使用专用容量。
  • 生产应用程序需要更高的可用性。

支持的模型

以下按令牌付费模型支持优先级模式。 要发送优先级请求,请使用模型端点或模型服务名称,参数 service_tier 设置为 "priority"。

Important

通过Databricks提供的ADI服务,部分OpenAI、Google Gemini和开放源代码模型可获得优先按令牌付费。 若要在Azure Databricks环境中访问这些模型,请参阅 ADI Services。

OpenAI 模型

型号 模型服务名称 备注
GPT-6.2 Astra system.ai.gpt-6-2-astra 通过 Unity Gateway 进行查询。 通过 ADI 服务提供。
GPT-6.2 Sol system.ai.gpt-6-2-sol 通过 Unity Gateway 进行查询。 通过 ADI 服务提供。

开源模型

Provider 型号 端点名称 备注
志浦 AI GLM 5.3 databricks-glm-5-3 通过 ADI Services 在 Azure 上提供。
志浦 AI GLM 5.3 Flash databricks-glm-5-3-flash 通过 ADI Services 在 Azure 上提供。
志浦 AI GLM 5.2(遗留) databricks-glm-5-2 通过 ADI Services 在 Azure 上提供。
Moonshot AI Kimi K3 databricks-kimi-k3 通过 ADI Services 在 Azure 上提供。
DeepSeek DeepSeek V4.1 Flash (1017) databricks-deepseek-v4-1-flash-1017 通过 ADI 服务提供。
DeepSeek DeepSeek V4.1 Flash databricks-deepseek-v4-1-flash 通过 ADI Services 在 Azure 上提供。
阿里云 Qwen3.5 122B A10B databricks-qwen35-122b-a10b
  • 此模型以 预览版提供。 若需启用,请联系你的客户团队。
  • 仅在 westeurope 区域中可用。

按词元付费优先模式的行为机制

使用按词元付费优先模式前,请留意以下行为特征:

  • 一致的性能和可用性。 按令牌计费的优先级机制旨在确保在高负载情况下可用性保持稳定。 该模式不保证满足某个具体的首词元返回时间或端到端延迟指标。 优先级请求旨在提供比标准按令牌付费请求更高的可用性。 Azure Databricks将层的可用性定义为成功的请求数除以该层的已承认请求总数。
  • “尽力而为”型容量。 优先级模式不保留容量,并且没有容量承诺。
  • 回退至标准按词元付费模式。 若优先模式容量已全部用尽,将按照标准按词元付费模式的可用资源处理请求,并按标准按词元付费价格计费。
  • 按词元溢价。 该优先模式请求的词元计费单价高于标准按词元付费请求。

按词元付费优先模式与预置吞吐量模式对比

按词元付费优先模式与预置吞吐量模式均面向生产型工作负载,但二者取舍权衡点有所不同:

注意事项 按词元付费优先模式 预配的吞吐量
Capacity 尽力而为,资源共享。 专用预留容量。
承诺 None. 按单个请求启用。 需要已预配的端点。
Availability 在高负载情况下,它比标准的按令牌付费模式表现更稳定。 可预测,由预留容量决定。
Billing 按词元付费,较标准按词元付费存在一定程度的溢价。 基于预配的模型单元。

发送优先级请求

若要使用优先级模式,请将 service_tier 参数设置为 "priority" 按请求。 以下示例使用 OpenAI 客户端:

from databricks_openai import DatabricksOpenAI

client = DatabricksOpenAI()

response = client.chat.completions.create(
    model="databricks-model-name",
    messages=[
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256,
    service_tier="priority",
)

请参阅 基础模型 REST API 参考 ,了解参数语法和使用 基础模型 以获取更多查询选项。

容量限制

每个群集支持所有租户每分钟的令牌总数上限。 Azure Databricks在载入期间设置每个租户的限制,以便单个租户不能使用所有群集容量。 如果您的工作负载所需容量超过单个租户容量上限,请联系您的 Databricks 账户团队。

有关更多基础模型 API 限制,请参阅 基础模型 API 限制和配额。

其他资源