本页介绍基础模型 API 的按词元付费优先模式,包括其行为机制以及如何发送优先请求。
什么是按词元付费优先模式?
优先级按令牌付费(也称为优先级模式)是延迟敏感实时应用程序的按令牌付费功能。 若在发送请求时将 service_tier 参数设为 "priority",Azure Databricks 会优先接纳该请求,将其排在同一模型上标准“尽力而为”按词元付费流量的最前面。 这样,在高流量期间,可用性更加一致。
按词元付费优先模式支持按请求逐次启用,因此你可以向同一模型同时发送优先请求和标准请求。 这种模式不需要承诺容量,但其词元计费单价高于标准按词元付费请求。
Databricks 建议在以下情况下使用优先模式:
- 与标准的按令牌计费模式相比,您需要更一致的性能和可用性,但尚未准备好承诺使用专用容量。
- 生产应用程序需要更高的可用性。
支持的模型
以下按令牌付费模型支持优先级模式。 要发送优先级请求,请使用模型端点或模型服务名称,参数 service_tier 设置为 "priority"。
Important
通过Databricks提供的ADI服务,部分OpenAI、Google Gemini和开放源代码模型可获得优先按令牌付费。 若要在Azure Databricks环境中访问这些模型,请参阅 ADI Services。
OpenAI 模型
| 型号 | 模型服务名称 | 备注 |
|---|---|---|
| GPT-6.2 Astra | system.ai.gpt-6-2-astra |
通过 Unity Gateway 进行查询。 通过 ADI 服务提供。 |
| GPT-6.2 Sol | system.ai.gpt-6-2-sol |
通过 Unity Gateway 进行查询。 通过 ADI 服务提供。 |
开源模型
| Provider | 型号 | 端点名称 | 备注 |
|---|---|---|---|
| 志浦 AI | GLM 5.3 | databricks-glm-5-3 |
通过 ADI Services 在 Azure 上提供。 |
| 志浦 AI | GLM 5.3 Flash | databricks-glm-5-3-flash |
通过 ADI Services 在 Azure 上提供。 |
| 志浦 AI | GLM 5.2(遗留) | databricks-glm-5-2 |
通过 ADI Services 在 Azure 上提供。 |
| Moonshot AI | Kimi K3 | databricks-kimi-k3 |
通过 ADI Services 在 Azure 上提供。 |
| DeepSeek | DeepSeek V4.1 Flash (1017) | databricks-deepseek-v4-1-flash-1017 |
通过 ADI 服务提供。 |
| DeepSeek | DeepSeek V4.1 Flash | databricks-deepseek-v4-1-flash |
通过 ADI Services 在 Azure 上提供。 |
| 阿里云 | Qwen3.5 122B A10B | databricks-qwen35-122b-a10b |
|
按词元付费优先模式的行为机制
使用按词元付费优先模式前,请留意以下行为特征:
- 一致的性能和可用性。 按令牌计费的优先级机制旨在确保在高负载情况下可用性保持稳定。 该模式不保证满足某个具体的首词元返回时间或端到端延迟指标。 优先级请求旨在提供比标准按令牌付费请求更高的可用性。 Azure Databricks将层的可用性定义为成功的请求数除以该层的已承认请求总数。
- “尽力而为”型容量。 优先级模式不保留容量,并且没有容量承诺。
- 回退至标准按词元付费模式。 若优先模式容量已全部用尽,将按照标准按词元付费模式的可用资源处理请求,并按标准按词元付费价格计费。
- 按词元溢价。 该优先模式请求的词元计费单价高于标准按词元付费请求。
按词元付费优先模式与预置吞吐量模式对比
按词元付费优先模式与预置吞吐量模式均面向生产型工作负载,但二者取舍权衡点有所不同:
| 注意事项 | 按词元付费优先模式 | 预配的吞吐量 |
|---|---|---|
| Capacity | 尽力而为,资源共享。 | 专用预留容量。 |
| 承诺 | None. 按单个请求启用。 | 需要已预配的端点。 |
| Availability | 在高负载情况下,它比标准的按令牌付费模式表现更稳定。 | 可预测,由预留容量决定。 |
| Billing | 按词元付费,较标准按词元付费存在一定程度的溢价。 | 基于预配的模型单元。 |
发送优先级请求
若要使用优先级模式,请将 service_tier 参数设置为 "priority" 按请求。 以下示例使用 OpenAI 客户端:
from databricks_openai import DatabricksOpenAI
client = DatabricksOpenAI()
response = client.chat.completions.create(
model="databricks-model-name",
messages=[
{
"role": "user",
"content": "What is a mixture of experts model?",
}
],
max_tokens=256,
service_tier="priority",
)
请参阅 基础模型 REST API 参考 ,了解参数语法和使用 基础模型 以获取更多查询选项。
容量限制
每个群集支持所有租户每分钟的令牌总数上限。 Azure Databricks在载入期间设置每个租户的限制,以便单个租户不能使用所有群集容量。 如果您的工作负载所需容量超过单个租户容量上限,请联系您的 Databricks 账户团队。
有关更多基础模型 API 限制,请参阅 基础模型 API 限制和配额。