基础模型 API 限制和配额

本页介绍 Databricks Foundation 模型 API 工作负载的限制和配额。

Databricks Foundation 模型 API 强制实施速率限制,以确保所有用户的可靠性能和公平的资源分配。 这些限制因 工作区平台层、基础模型类型和部署基础模型的方式而异。

按使用的令牌计费的端点速率限制

按令牌付费端点受基于令牌和基于请求的速率限制。 基于令牌的速率限制控制每分钟可处理的最大令牌数,并单独对输入和输出令牌强制实施。

  • 输入令牌数每分钟(ITPM):在60秒窗口内能处理的最大输入令牌数(来自你的提示)。 ITPM 速率限制控制终结点的输入令牌吞吐量。
  • 每分钟输出令牌数(OTPM):在60秒窗口内可生成的最大输出令牌数量(来自模型的响应)。 OTPM 速率限制控制终结点的输出令牌吞吐量。
  • 每小时请求数(RPH):在60分钟窗口内可处理的最大请求数。 对于持续使用模式的生产应用程序,Databricks 建议预配的吞吐量终结点,这些终结点提供有保证的容量。

查看您的工作空间配额

此页上的表格列出了默认的按令牌付费限制。 要查看适用于你的工作区中特定模型的限制:

  1. 在边栏中,单击 “AI 网关”。
  2. 在模型选项卡中打开该模型。
  3. 单击“ 指标 ”选项卡。

Quota limits 显示当前工作区对输入令牌数、输出令牌数、请求数和每小时的限制,以及选定时间区间的峰值和 p90 使用量。 这些限制适用于工作区内该模型的所有使用情况。

如何跟踪和强制执行限制

在任何给定时间内,最严格的速率限制(ITPM、OTPM、RPH)适用。 例如,即使你还没达到ITPM限额,超过RPH或OTPM限额时,你仍可能被限流。 达到 ITPM 或 OTPM 限制时,后续请求会收到 429 错误,指示收到的请求过多。 此消息将一直保留,直到速率限制窗口重置。

Databricks 使用以下功能跟踪并强制实施每分钟令牌(TPM)速率限制:

功能 / 特点 详细信息
词元核算和准入前检查
  • 输入标记计数:系统会在请求时根据实际提示词计算输入标记数。
  • 输出令牌估计:如果您在请求中提供 max_tokens ,Databricks会利用该值估算并预留输出令牌容量 ,然后请求 被接受处理。
  • 预准入验证:Databricks会在处理前检查您的请求是否超过ITPM或OTPM限制。 如果 max_tokens 会导致超过 OTPM 限制,Databricks 会立即拒绝请求,并出现 429 错误。
  • 实际输出与估计输出:响应生成后,会统计实际输出令牌数。 重要的是,如果实际代币使用量低于预留 max_tokens值,Databricks 会将差额计入你的速率限制额度,使这些代币立即可用于其他请求。
  • 未指定max_tokens:如果你不指定 max_tokens,Databricks会使用默认预留,实际令牌计数会在生成后进行对账。
突发容量和平滑
  • 突发缓冲区:速率限制器包含一个小缓冲区,用于容纳高于标称速率的短时间流量突发。
  • 滑动窗口:通过滑动窗口算法跟踪代币消耗,该算法比硬性每分钟边界更为平滑。
  • 令牌桶算法:Databricks采用令牌桶实现,允许部分突发容量,同时保持平均速率限制。

下面是预录取检查和返点行为工作情况的示例。

# Request with max_tokens specified
request = {
    "prompt": "Write a story about...",  # 10 input tokens
    "max_tokens": 500  # System reserves 500 output tokens
}

# Pre-admission check:
# - Verifies 10 tokens against ITPM limit
# - Reserves 500 tokens against OTPM limit
# - If either would exceed limits, returns 429 immediately

# If admitted, actual response uses only 350 tokens
# The system credits back 150 tokens (500 - 350) to your OTPM allowance
# These 150 tokens are immediately available for other requests

开放模型的最大输出令牌

每个开放模型在单次响应中都有一个能生成的最大输出令牌数量。 下表列出了您的云环境中每种模型的最大值。

型号 最大输出令牌
DeepSeek V4.1 Flash(1017) 384,000
DeepSeek V4.1 闪存 384,000
Alibaba Cloud Qwen3.5 122B A10B(公开预览) 25,000
OpenAI GPT OSS 120B 25,000
OpenAI GPT OSS 20B 25,000
阿里云 Qwen3-Next 80B A3B Instruct(测试版) 10,000
谷歌 Gemma 3 12B 8,192
Meta Llama 4 特立独行者 8,192
Meta Llama 3.3 70B Instruct 8,192
Meta Llama 3.1 70B Instruct 8,192
Meta Llama 3.1 8B Instruct 8,192
Meta Llama 3.1 405B 指令 4,096

模型的速度限制

以下表格总结了适用于Enterprise 工作空间平台层级上的工作空间的按代币付费基础模型 API 端点的 ITPM、OTPM 和 RPH 速率限制:

注释

对于支持预设吞吐量的模型,如果按令牌付费限制不符合你的用例需求,可以创建一个 预设吞吐量端 点。

合作伙伴模型令牌配额级别

合作伙伴模型令牌配额阶梯有三个编号层级。 合作伙伴模型默认为Tier 1,除非模型特定的提供者能力限制要求较低限制。 这些配额层级与你的工作区平台层级是分开的。

配额等级 ITPM 限制 OTPM 限制 可用性
第 1 层 1,000,000 100,000 自动应用于合作伙伴模型,除非适用特定于模型的提供程序容量例外
第 2 层 5,000,000 500,000 可通过配额申请流程获取
第 3 层 10,000,000 1,000,000 可通过配额申请流程获取

自定义令牌限制需要由 Databricks 进行容量评估,且不属于这三个层级。 令牌配额层仅更改ITPM和OTPM限制;每秒请求(RPS)和RPH限制仍依型号而异。 合作伙伴模型仅针对特定于模型的提供程序容量约束保留较低的默认值。 开放模型保留下表所示的默认设置。

大型语言模型 ITPM 限制 OTPM 限制 RPH限制
Gemini 4 Carbon 1,000,000 100,000 三十六万
Gemini 4 Argon 1,000,000 100,000 三十六万
双子座 3.1 Flash Lite 1,000,000 100,000 三十六万
Qwen3.5 122B A10B (公共预览版) 1,000,000 100,000 三十六万
Qwen3-Next 80B A3B 指令(Beta) 1,000,000 100,000 三十六万
GPT OSS 120B 1,000,000 100,000 三十六万
GPT OSS 20B 1,000,000 100,000 三十六万
Gemma 3 12B 1,000,000 100,000 三十六万
Llama 4 小牛 1,000,000 100,000 三十六万
Llama 3.3 70B 指令 1,000,000 100,000 三十六万
Llama 3.1 8B 指示 1,000,000 100,000 三十六万
OpenJev(Qwen3.5 4B) 2,000,000 40,000 7,200
DeepSeek V4.1 Flash(1017) 2,000,000 40,000 7,200
DeepSeek V4.1 闪存 2,000,000 40,000 7,200
Anthropic Claude 模型 ITPM 限制 OTPM 限制 RPH限制
Claude Fable 5.2 1,000,000 100,000 三十六万
克劳德寓言 5.1 1,000,000 100,000 三十六万
克劳德寓言 5 1,000,000 100,000 三十六万
Claude Haiku 5.5 200,000 20,000 三十六万
克劳德·海库 4.5 1,000,000 100,000 三十六万
克劳德·奥普斯 5 1,000,000 100,000 三十六万
Claude Opus 5.5 1,000,000 100,000 三十六万
克洛德作品4.8 1,000,000 100,000 三十六万
克劳德·奥普斯 4.7 1,000,000 100,000 三十六万
克洛德作品4.6 1,000,000 100,000 三十六万
克洛德作品4.5 1,000,000 100,000 三十六万
克洛德作品4.1 1,000,000 100,000 三十六万
克劳德·桑内特 5 1,000,000 100,000 三十六万
Claude Sonnet 5.5 1,000,000 100,000 三十六万
克洛德·索内 4.6 1,000,000 100,000 三十六万
克劳德十四行诗 4.5 1,000,000 100,000 三十六万
嵌入模型 ITPM 限制 OTPM 限制 RPH限制
Qwen3-Embedding-0.6B N/A N/A 2,160,000
GTE 大型 (En) N/A N/A 540,000
BGE Large(英文版) N/A N/A 2,160,000

管理 TPM 速率限制的最佳做法

步骤 1. 监视令牌使用情况

在应用程序中单独跟踪输入和输出令牌计数:

# Example: Track token usage
response = model.generate(prompt)
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens

# Check against limits
if input_tokens > ITPM_LIMIT or output_tokens > OTPM_LIMIT:
    # Implement backoff strategy
    pass

步骤 2. 实现重试逻辑

遇到速率限制错误时添加指数退避:

import time
import random

def retry_with_exponential_backoff(
    func,
    initial_delay: float = 1,
    exponential_base: float = 2,
    jitter: bool = True,
    max_retries: int = 10,
):
    """Retry a function with exponential backoff."""

    num_retries = 0
    delay = initial_delay

    while num_retries < max_retries:
        try:
            return func()
        except Exception as e:
            if "rate_limit" in str(e) or "429" in str(e):
                num_retries += 1

                if jitter:
                    delay *= exponential_base * (1 + random.random())
                else:
                    delay *= exponential_base

                time.sleep(delay)
            else:
                raise e

    raise Exception(f"Maximum retries {max_retries} exceeded")

步骤 3. 优化令牌用法

  • 尽量减少提示长度:使用简洁、结构良好的提示
  • 控制输出长度:使用 max_tokens 参数限制响应大小
  • 高效批处理:在可能的情况下将相关请求分组,同时保持在限制范围内

步骤 4. 考虑模型选择

  • 针对高吞吐量任务的小型模型:对于需要更高吞吐量的任务,可以使用像GPT OSS 20B这样的模型。
  • 大型模型用于复杂任务:将GPT OSS 120B保留用于需要最大能力的任务。

监视和故障排除

监视令牌使用模式以优化性能:

# Example: Log token usage for monitoring
import logging

logger = logging.getLogger(__name__)

def log_token_usage(response):
    usage = response.usage
    logger.info(f"Input tokens: {usage.prompt_tokens}")
    logger.info(f"Output tokens: {usage.completion_tokens}")
    logger.info(f"Total tokens: {usage.total_tokens}")

    # Alert if approaching limits
    if usage.prompt_tokens > ITPM_LIMIT * 0.8:
        logger.warning("Approaching ITPM limit")
    if usage.completion_tokens > OTPM_LIMIT * 0.8:
        logger.warning("Approaching OTPM limit")

处理速率限制错误

超过速率限制时,API 将返回错误 429 Too Many Requests :

{
  "error": {
    "message": "Rate limit exceeded: ITPM limit of 1,000,000 tokens reached",
    "type": "rate_limit_exceeded",
    "code": 429,
    "limit_type": "input_tokens_per_minute",
    "limit": 1000000,
    "current": 1000150,
    "retry_after": 15
  }
}

错误响应包括:

  • limit_type:超出了哪个具体限制:input_tokens_per_minute、output_tokens_per_minute、requests_per_second 或 requests_per_hour
  • limit: 配置的限制值
  • current:你当前的使用情况
  • retry_after:建议等待时间(秒)

处理服务容量错误

错误 429 Too Many Requests 意味着你的工作量超过了你控制的速率限制。 503 Service Unavailable 错误则不同:它意味着基础模型 API 暂时已满负荷,无法处理您的请求。 503 错误不计入,也不意味着你达到了自己的速率限制。

将503响应视为暂时性响应,并采用指数退避进行重试,遵循与第 2 步。实现重试逻辑相同的模式。 对于需要稳定容量的生产工作负载,请使用预配置吞吐量,它提供专用容量,而非按令牌付费共享容量。 请参阅关于 预留配置吞吐量 和 按需配置吞吐量 的文档,了解支持的基础模型。

常见问题和解决方案

問题 解决方案
频繁出现 429 错误 实现指数退避、降低请求速率和请求更高的速率限制
达到 ITPM 限制 优化提示长度
达到 OTPM 限制 用于 max_tokens 限制响应长度
已达到 RPH 限制 随着时间的推移,更均匀地分配请求
503 服务不可用 重试时使用指数退避;为了获得稳定的生产吞吐能力,请使用预配置吞吐量

预配的吞吐量限制

对于需要更高限制的生产工作负荷,预配的吞吐量终结点提供:

  • 无TPM限制:基于配置资源的处理能力
  • 更高速率限制:每个工作区最多每秒200个请求
  • 可预测的性能:专用资源确保稳定的延迟

输出词元限制

下表汇总了每个受支持的模型的输出令牌限制:

型号 输出词元限制
GPT OSS 120B 25,000
GPT OSS 20B 25,000
Gemma 3 12B 8,192
Llama 4 小牛 8,192
Llama 3.1 70B 8,192
Llama 3.1 8B 8,192

其他限制

以下是预配的吞吐量工作负荷的限制:

  • 若要从 system.ai Unity 目录中部署 Meta Llama 模型,必须选择适用的 “指示 ”版本。 在 Unity Catalog 中不支持部署 Meta Llama 模型的基本版本。 请参阅 部署预配的吞吐量终结点。
  • 对于使用 Llama 4 Maverick 的预配吞吐量工作负荷:
    • 在预配吞吐量工作负荷上对此模型的支持处于公开预览版。
    • 不支持自动缩放。
    • 不支持指标面板。
    • 为 Llama 4 Maverick 提供服务的终结点不支持流量拆分。 不能在服务 Llama 4 Maverick 的终结点上提供多个模型。

区域可用性和数据处理

有关 Databricks 托管的基础模型区域可用性,请参阅 基础模型概述。

有关数据处理和驻留详细信息,请参阅 数据处理和驻留。

基础模型和外部模型的资源与有效载荷限制

下表汇总了为 基础模型 和 外部模型提供服务的终结点的资源和有效负载限制。

功能 / 特点 粒度 Limit
载荷大小 应要求 4 MB
请求/响应大小 应要求 不会记录超过 1 MB 的任何请求/响应。
按令牌付费基础模型的每秒请求数(RPS) 每个模型,每个工作区 这因模型而异。 要查看您工作区当前的 RPS 限制,请参阅 查看您的工作区配额。
预置吞吐量和外部模型的每秒请求数(RPS) 每个工作区 200
模型执行持续时间 应要求 597 秒
开放模型的流式请求模型执行时长 应要求 30 分钟
开销延迟 应要求 小于 50 毫秒

30分钟的流媒体限制不适用于旧版 Meta Llama 3.1 8B、70B 和 405B 型号。 对这些模型的流式请求采用 597 秒的限制。

其他资源