如何处理 API 限流

构建依赖于云 API 的应用程序时,API 限流是一个常见挑战。 下面是可用于处理它的技术:

  • 使用速率限制。 如果使用的 API 支持 速率限制,请使用 API 发送的速率限制信息来确保应用程序不超过 API 的限制。
  • 处理 Retry-After 标头。 当请求受到限制时,某些 API 会在其响应中发送 Retry-After 标头。 如果受到限制,并且响应具有 Retry-After 标头,请在发送另一个请求之前等待指定的时间。
  • 实现指数回退。 如果使用的 API 不发送 Retry-After 标头,请使用随机抖动实现指数退避算法。 每次请求失败后,将重试前的等待时间加倍,并在几次尝试后停止。 等待更长时间有助于减少 API 上的负载,并增加下一个请求成功的可能性。
  • 了解何时不重试。 一些类似限流的错误意味着配额或额度已用尽,例如 OpenAI 的credit_balance_exhausted。 重试这些操作无济于事,因此请停止并告知用户。
  • 缓存之前收到的数据。 缓存来自 API 的响应,尤其是对于可能返回相同数据的请求。 缓存 可帮助您减少对 API 的调用次数,并保持在速率限制范围内。
  • 队列请求。 为传出 API 请求实施队列,以管理请求速率并确保不超过 API 的速率限制。
  • 优化 API 调用。 如果 API 支持批处理请求,则仅提取所需的数据并使用批处理请求。 优化有助于减少请求数并保持在速率限制范围内。
  • 向用户显示正在发生的情况。 “系统正忙,将在 5 秒后重试”比永远不结束的加载指示器更好。

在应用程序中实现这些技术后,测试它是否能够正确处理节流。 你从未见其运行过的重试逻辑,就是你不知道它是否有效的重试逻辑。 有关测试方式的比较,请参阅如何测试你的应用是否处理限流。

在应用中试用

Dev Proxy对你选择的 API 返回限流响应,同时你的应用继续调用真实 URL;当你的应用在Retry-After指定的等待时间结束前重试时,它会告知你。 预设适用于GitHub(github-rate-limiting)、OpenAI(openai-throttling)、Anthropic(anthropic-throttling)和Microsoft Graph OneDrive和SharePoint终结点(microsoft-graph-rate-limiting):

devproxy config get openai-throttling
devproxy --config-file "~dataFolder/configs/openai-throttling/.devproxy/devproxyrc.json"

若要安装 Dev Proxy,请参阅 “设置 Dev Proxy”。

后续步骤