平台概念
限流与配额
速率限制、配额与 429 处理
平台在两层做限制:速率(RPM/TPM) 与 余额配额,按 API Key / 组织 / 档位计算。
速率限制
| 维度 | 含义 |
|---|---|
| RPM | 每分钟请求数(Requests Per Minute) |
| TPM | 每分钟 token 数(Tokens Per Minute) |
| 并发 | 同时进行的请求数 |
额度由你的档位(tier)与模型决定,越高的档位额度越大。响应头会带上当前用量与上限:
| 响应头 | 说明 |
|---|---|
x-ratelimit-limit-requests | RPM 上限 |
x-ratelimit-limit-tokens | TPM 上限 |
x-ratelimit-remaining-requests | 本分钟剩余请求数 |
x-ratelimit-remaining-tokens | 本分钟剩余 token |
retry-after | 触发 429 时建议等待秒数 |
配额(余额)
每次成功调用按 计费 实时扣费。余额不足返回 402 insufficient_quota,需充值或升级。
触发 429 怎么办
# 读 retry-after / 指数退避
import time
for i in range(5):
r = call()
if r.status_code != 429:
break
time.sleep(int(r.headers.get("retry-after", 2 ** i)))建议:客户端做并发控制(令牌桶 / 信号量)+ 指数退避,避免打满 RPM。