本页介绍 Databricks Foundation 模型 API 工作负载的限制和配额。
Databricks Foundation 模型 API 强制实施速率限制,以确保所有用户的可靠性能和公平的资源分配。 这些限制因 工作区平台层、基础模型类型和部署基础模型的方式而异。
按使用的令牌计费的端点速率限制
按令牌付费端点受基于令牌和基于请求的速率限制。 基于令牌的速率限制控制每分钟可处理的最大令牌数,并单独对输入和输出令牌强制实施。
- 输入令牌数每分钟(ITPM):在60秒窗口内能处理的最大输入令牌数(来自你的提示)。 ITPM 速率限制控制终结点的输入令牌吞吐量。
- 每分钟输出令牌数(OTPM):在60秒窗口内可生成的最大输出令牌数量(来自模型的响应)。 OTPM 速率限制控制终结点的输出令牌吞吐量。
- 每小时请求数(RPH):在60分钟窗口内可处理的最大请求数。 对于持续使用模式的生产应用程序,Databricks 建议预配的吞吐量终结点,这些终结点提供有保证的容量。
查看您的工作空间配额
此页上的表格列出了默认的按令牌付费限制。 要查看适用于你的工作区中特定模型的限制:
- 在边栏中,单击 “AI 网关”。
- 在模型选项卡中打开该模型。
- 单击“ 指标 ”选项卡。
Quota limits 显示当前工作区对输入令牌数、输出令牌数、请求数和每小时的限制,以及选定时间区间的峰值和 p90 使用量。 这些限制适用于工作区内该模型的所有使用情况。
如何跟踪和强制执行限制
在任何给定时间内,最严格的速率限制(ITPM、OTPM、RPH)适用。 例如,即使你还没达到ITPM限额,超过RPH或OTPM限额时,你仍可能被限流。 达到 ITPM 或 OTPM 限制时,后续请求会收到 429 错误,指示收到的请求过多。 此消息将一直保留,直到速率限制窗口重置。
Databricks 使用以下功能跟踪并强制实施每分钟令牌(TPM)速率限制:
| 功能 / 特点 | 详细信息 |
|---|---|
| 词元核算和准入前检查 |
|
| 突发容量和平滑 |
|
下面是预录取检查和返点行为工作情况的示例。
# Request with max_tokens specified
request = {
"prompt": "Write a story about...", # 10 input tokens
"max_tokens": 500 # System reserves 500 output tokens
}
# Pre-admission check:
# - Verifies 10 tokens against ITPM limit
# - Reserves 500 tokens against OTPM limit
# - If either would exceed limits, returns 429 immediately
# If admitted, actual response uses only 350 tokens
# The system credits back 150 tokens (500 - 350) to your OTPM allowance
# These 150 tokens are immediately available for other requests
开放模型的最大输出令牌
每个开放模型在单次响应中都有一个能生成的最大输出令牌数量。 下表列出了您的云环境中每种模型的最大值。
| 型号 | 最大输出令牌 |
|---|---|
| DeepSeek V4.1 Flash(1017) | 384,000 |
| DeepSeek V4.1 闪存 | 384,000 |
| Alibaba Cloud Qwen3.5 122B A10B(公开预览) | 25,000 |
| OpenAI GPT OSS 120B | 25,000 |
| OpenAI GPT OSS 20B | 25,000 |
| 阿里云 Qwen3-Next 80B A3B Instruct(测试版) | 10,000 |
| 谷歌 Gemma 3 12B | 8,192 |
| Meta Llama 4 特立独行者 | 8,192 |
| Meta Llama 3.3 70B Instruct | 8,192 |
| Meta Llama 3.1 70B Instruct | 8,192 |
| Meta Llama 3.1 8B Instruct | 8,192 |
| Meta Llama 3.1 405B 指令 | 4,096 |
模型的速度限制
以下表格总结了适用于Enterprise 工作空间平台层级上的工作空间的按代币付费基础模型 API 端点的 ITPM、OTPM 和 RPH 速率限制:
注释
对于支持预设吞吐量的模型,如果按令牌付费限制不符合你的用例需求,可以创建一个 预设吞吐量端 点。
合作伙伴模型令牌配额级别
合作伙伴模型令牌配额阶梯有三个编号层级。 合作伙伴模型默认为Tier 1,除非模型特定的提供者能力限制要求较低限制。 这些配额层级与你的工作区平台层级是分开的。
| 配额等级 | ITPM 限制 | OTPM 限制 | 可用性 |
|---|---|---|---|
| 第 1 层 | 1,000,000 | 100,000 | 自动应用于合作伙伴模型,除非适用特定于模型的提供程序容量例外 |
| 第 2 层 | 5,000,000 | 500,000 | 可通过配额申请流程获取 |
| 第 3 层 | 10,000,000 | 1,000,000 | 可通过配额申请流程获取 |
自定义令牌限制需要由 Databricks 进行容量评估,且不属于这三个层级。 令牌配额层仅更改ITPM和OTPM限制;每秒请求(RPS)和RPH限制仍依型号而异。 合作伙伴模型仅针对特定于模型的提供程序容量约束保留较低的默认值。 开放模型保留下表所示的默认设置。
| 大型语言模型 | ITPM 限制 | OTPM 限制 | RPH限制 |
|---|---|---|---|
| Gemini 4 Carbon | 1,000,000 | 100,000 | 三十六万 |
| Gemini 4 Argon | 1,000,000 | 100,000 | 三十六万 |
| 双子座 3.1 Flash Lite | 1,000,000 | 100,000 | 三十六万 |
| Qwen3.5 122B A10B (公共预览版) | 1,000,000 | 100,000 | 三十六万 |
| Qwen3-Next 80B A3B 指令(Beta) | 1,000,000 | 100,000 | 三十六万 |
| GPT OSS 120B | 1,000,000 | 100,000 | 三十六万 |
| GPT OSS 20B | 1,000,000 | 100,000 | 三十六万 |
| Gemma 3 12B | 1,000,000 | 100,000 | 三十六万 |
| Llama 4 小牛 | 1,000,000 | 100,000 | 三十六万 |
| Llama 3.3 70B 指令 | 1,000,000 | 100,000 | 三十六万 |
| Llama 3.1 8B 指示 | 1,000,000 | 100,000 | 三十六万 |
| OpenJev(Qwen3.5 4B) | 2,000,000 | 40,000 | 7,200 |
| DeepSeek V4.1 Flash(1017) | 2,000,000 | 40,000 | 7,200 |
| DeepSeek V4.1 闪存 | 2,000,000 | 40,000 | 7,200 |
| Anthropic Claude 模型 | ITPM 限制 | OTPM 限制 | RPH限制 |
|---|---|---|---|
| Claude Fable 5.2 | 1,000,000 | 100,000 | 三十六万 |
| 克劳德寓言 5.1 | 1,000,000 | 100,000 | 三十六万 |
| 克劳德寓言 5 | 1,000,000 | 100,000 | 三十六万 |
| Claude Haiku 5.5 | 200,000 | 20,000 | 三十六万 |
| 克劳德·海库 4.5 | 1,000,000 | 100,000 | 三十六万 |
| 克劳德·奥普斯 5 | 1,000,000 | 100,000 | 三十六万 |
| Claude Opus 5.5 | 1,000,000 | 100,000 | 三十六万 |
| 克洛德作品4.8 | 1,000,000 | 100,000 | 三十六万 |
| 克劳德·奥普斯 4.7 | 1,000,000 | 100,000 | 三十六万 |
| 克洛德作品4.6 | 1,000,000 | 100,000 | 三十六万 |
| 克洛德作品4.5 | 1,000,000 | 100,000 | 三十六万 |
| 克洛德作品4.1 | 1,000,000 | 100,000 | 三十六万 |
| 克劳德·桑内特 5 | 1,000,000 | 100,000 | 三十六万 |
| Claude Sonnet 5.5 | 1,000,000 | 100,000 | 三十六万 |
| 克洛德·索内 4.6 | 1,000,000 | 100,000 | 三十六万 |
| 克劳德十四行诗 4.5 | 1,000,000 | 100,000 | 三十六万 |
| 嵌入模型 | ITPM 限制 | OTPM 限制 | RPH限制 |
|---|---|---|---|
| Qwen3-Embedding-0.6B | N/A | N/A | 2,160,000 |
| GTE 大型 (En) | N/A | N/A | 540,000 |
| BGE Large(英文版) | N/A | N/A | 2,160,000 |
管理 TPM 速率限制的最佳做法
步骤 1. 监视令牌使用情况
在应用程序中单独跟踪输入和输出令牌计数:
# Example: Track token usage
response = model.generate(prompt)
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
# Check against limits
if input_tokens > ITPM_LIMIT or output_tokens > OTPM_LIMIT:
# Implement backoff strategy
pass
步骤 2. 实现重试逻辑
遇到速率限制错误时添加指数退避:
import time
import random
def retry_with_exponential_backoff(
func,
initial_delay: float = 1,
exponential_base: float = 2,
jitter: bool = True,
max_retries: int = 10,
):
"""Retry a function with exponential backoff."""
num_retries = 0
delay = initial_delay
while num_retries < max_retries:
try:
return func()
except Exception as e:
if "rate_limit" in str(e) or "429" in str(e):
num_retries += 1
if jitter:
delay *= exponential_base * (1 + random.random())
else:
delay *= exponential_base
time.sleep(delay)
else:
raise e
raise Exception(f"Maximum retries {max_retries} exceeded")
步骤 3. 优化令牌用法
- 尽量减少提示长度:使用简洁、结构良好的提示
-
控制输出长度:使用
max_tokens参数限制响应大小 - 高效批处理:在可能的情况下将相关请求分组,同时保持在限制范围内
步骤 4. 考虑模型选择
- 针对高吞吐量任务的小型模型:对于需要更高吞吐量的任务,可以使用像GPT OSS 20B这样的模型。
- 大型模型用于复杂任务:将GPT OSS 120B保留用于需要最大能力的任务。
监视和故障排除
监视令牌使用模式以优化性能:
# Example: Log token usage for monitoring
import logging
logger = logging.getLogger(__name__)
def log_token_usage(response):
usage = response.usage
logger.info(f"Input tokens: {usage.prompt_tokens}")
logger.info(f"Output tokens: {usage.completion_tokens}")
logger.info(f"Total tokens: {usage.total_tokens}")
# Alert if approaching limits
if usage.prompt_tokens > ITPM_LIMIT * 0.8:
logger.warning("Approaching ITPM limit")
if usage.completion_tokens > OTPM_LIMIT * 0.8:
logger.warning("Approaching OTPM limit")
处理速率限制错误
超过速率限制时,API 将返回错误 429 Too Many Requests :
{
"error": {
"message": "Rate limit exceeded: ITPM limit of 1,000,000 tokens reached",
"type": "rate_limit_exceeded",
"code": 429,
"limit_type": "input_tokens_per_minute",
"limit": 1000000,
"current": 1000150,
"retry_after": 15
}
}
错误响应包括:
-
limit_type:超出了哪个具体限制:input_tokens_per_minute、output_tokens_per_minute、requests_per_second或requests_per_hour -
limit: 配置的限制值 -
current:你当前的使用情况 -
retry_after:建议等待时间(秒)
处理服务容量错误
错误 429 Too Many Requests 意味着你的工作量超过了你控制的速率限制。
503 Service Unavailable 错误则不同:它意味着基础模型 API 暂时已满负荷,无法处理您的请求。 503 错误不计入,也不意味着你达到了自己的速率限制。
将503响应视为暂时性响应,并采用指数退避进行重试,遵循与第 2 步。实现重试逻辑相同的模式。 对于需要稳定容量的生产工作负载,请使用预配置吞吐量,它提供专用容量,而非按令牌付费共享容量。 请参阅关于 预留配置吞吐量 和 按需配置吞吐量 的文档,了解支持的基础模型。
常见问题和解决方案
| 問题 | 解决方案 |
|---|---|
| 频繁出现 429 错误 | 实现指数退避、降低请求速率和请求更高的速率限制 |
| 达到 ITPM 限制 | 优化提示长度 |
| 达到 OTPM 限制 | 用于 max_tokens 限制响应长度 |
| 已达到 RPH 限制 | 随着时间的推移,更均匀地分配请求 |
| 503 服务不可用 | 重试时使用指数退避;为了获得稳定的生产吞吐能力,请使用预配置吞吐量 |
预配的吞吐量限制
对于需要更高限制的生产工作负荷,预配的吞吐量终结点提供:
- 无TPM限制:基于配置资源的处理能力
- 更高速率限制:每个工作区最多每秒200个请求
- 可预测的性能:专用资源确保稳定的延迟
输出词元限制
下表汇总了每个受支持的模型的输出令牌限制:
| 型号 | 输出词元限制 |
|---|---|
| GPT OSS 120B | 25,000 |
| GPT OSS 20B | 25,000 |
| Gemma 3 12B | 8,192 |
| Llama 4 小牛 | 8,192 |
| Llama 3.1 70B | 8,192 |
| Llama 3.1 8B | 8,192 |
其他限制
以下是预配的吞吐量工作负荷的限制:
- 若要从
system.aiUnity 目录中部署 Meta Llama 模型,必须选择适用的 “指示 ”版本。 在 Unity Catalog 中不支持部署 Meta Llama 模型的基本版本。 请参阅 部署预配的吞吐量终结点。 - 对于使用 Llama 4 Maverick 的预配吞吐量工作负荷:
- 在预配吞吐量工作负荷上对此模型的支持处于公开预览版。
- 不支持自动缩放。
- 不支持指标面板。
- 为 Llama 4 Maverick 提供服务的终结点不支持流量拆分。 不能在服务 Llama 4 Maverick 的终结点上提供多个模型。
区域可用性和数据处理
有关 Databricks 托管的基础模型区域可用性,请参阅 基础模型概述。
有关数据处理和驻留详细信息,请参阅 数据处理和驻留。
基础模型和外部模型的资源与有效载荷限制
下表汇总了为 基础模型 和 外部模型提供服务的终结点的资源和有效负载限制。
| 功能 / 特点 | 粒度 | Limit |
|---|---|---|
| 载荷大小 | 应要求 | 4 MB |
| 请求/响应大小 | 应要求 | 不会记录超过 1 MB 的任何请求/响应。 |
| 按令牌付费基础模型的每秒请求数(RPS) | 每个模型,每个工作区 | 这因模型而异。 要查看您工作区当前的 RPS 限制,请参阅 查看您的工作区配额。 |
| 预置吞吐量和外部模型的每秒请求数(RPS) | 每个工作区 | 200 |
| 模型执行持续时间 | 应要求 | 597 秒 |
| 开放模型的流式请求模型执行时长 | 应要求 | 30 分钟 |
| 开销延迟 | 应要求 | 小于 50 毫秒 |
30分钟的流媒体限制不适用于旧版 Meta Llama 3.1 8B、70B 和 405B 型号。 对这些模型的流式请求采用 597 秒的限制。