如何处理速率限制

速率限制 是 API 提供程序用来管理在特定时间段内对其服务发出的请求数的常见技术。 API 提供程序使用速率限制来确保其服务保持可用并响应所有用户,并防止滥用或过度使用服务。

在应用程序中使用云 API 时,应了解其速率限制。 以下技术可帮助你处理应用程序中的速率限制:

  • 了解速率限制。 查看您所使用 API 的文档以了解其速率限制。 速率限制可能取决于你使用的 API 提供程序或服务计划。 例如,某些 API 可能具有不同的免费和付费计划费率限制。
  • 使用速率限制信息。 使用速率限制的 API 通常传达响应标头中的当前限制。 例如,标头 RateLimit-Remaining 指示当前窗口中保留的请求数。 如果收到此标头设置为 0 的响应,则表明已达到速率限制,应在发送另一个请求之前等待下一个窗口。 标头 RateLimit-Reset 指示速率限制重置的时间。 标头名称和格式因 API 而异:例如,GitHub 使用以 UTC 纪元秒表示的x-ratelimit-remaining和x-ratelimit-reset。 某些 API 仅在达到阈值后才会发送标头。 例如,当你的请求还剩下 10% 时。
  • 优化 API 使用情况。 某些服务根据其复杂性为不同的请求分配不同的成本。 例如,某些 API 可能会对返回更多数据的请求收取更多费用。 若要降低应用程序的成本,请仅提取所需的数据来优化 API 使用情况。 如果 API 支持批处理请求,请使用批处理请求。 它们可帮助你减少处理响应所需的资源数量,并保持在速率限制范围内。
  • 实现本地速率限制器。 在应用程序本身中实现速率限制程序,以限制在特定时间段内对 API 发出的请求数。 可以使用令牌存储桶或泄漏桶算法等技术执行此作,这样应用程序就可以在一段时间内发出许多请求。 任何其他请求都会排队,或者会被丢弃。
  • 避免超过速率限制。 超过速率限制时,API 会 限制 请求,通常使用 HTTP 429 Too Many Requests 状态代码。 节流比速率限制对应用程序的吞吐量影响更大。 使用速率限制响应标头中的信息保持在限制范围内并避免被限流。

通过使用这些技术,您可以构建能够适应速率限制的应用程序,即使 API 负载过重,也能继续运行。 然后测试它们是否确实如此,因为你在开发时很少达到速率限制。

如何测试速率限制处理

Approach 你找到的内容 您错过的内容
等到投入生产 真实速率限制 所有情况,直到用户遇到它
在测试中模拟 API,或让编码代理编写模拟代码 代码是否读取模拟的标头 API 的实际标头名称、格式和重置行为以及 SDK 的重试策略。 你的应用还需要一个仅用于测试的开关来访问模拟。
调用真实 API,直到你达到限制 实际表现 你无法按需达到限制,会用尽你的真实配额,而且某些限制仅在一小时后重置
拦截你应用的真实流量并模拟限制 真实 URL、你选择的限制和时间窗口,以及 API 自己的标头 隔离状态下的你的代码。 将单元测试保留用于该目的。

在你的应用中试用它

Dev Proxy统计你的应用对你选择的 API 发出的请求,向响应添加速率限制标头,并在你的应用超过限制时以429应答,而你的应用继续调用真实 URL。 你可以选择限制和时间窗口,这样你可以在一分钟内而不是一小时内达到限制。

对于GitHub,请下载预设,并使用它启动 Dev Proxy:

devproxy config get github-rate-limiting
devproxy --config-file "~dataFolder/configs/github-rate-limiting/.devproxy/devproxyrc.json"

若要对 OneDrive 和 SharePoint(/drive、/shares、/sites)进行 Microsoft Graph 调用,请使用 microsoft-graph-rate-limiting 预设。 若要安装 Dev Proxy,请参阅 “设置 Dev Proxy”。

后续步骤