额度与速度管控
了解三级额度体系,配置 Key 级别的访问速度与 Token 用量限制,实现精细化的 API 调用管控
说明:本页面介绍 Key 级别的额度和速度配置。每个 Key 可独立设置 RPM、TPM 和 Token 额度上限。系统级默认额度请在「系统设置 → 额度管理」页面配置。
三级额度体系
Tarogo AI 网关的额度管理分为三个层级,从公司到个人逐级精细化管理:
额度优先级与回退机制
- 个人额度 > 部门额度 > 公司额度:实际生效额度按此优先级取值
- 个人额度留空时,自动回退到所属部门的额度配置
- 部门额度留空时,自动回退到公司额度配置
💡 提示:在用户管理或部门管理中编辑额度时,将字段留空即可清空当前层级的额度,系统会自动按优先级回退到上一级额度。
速度管控
速度管控用于限制 API Key 的请求频率,防止突发流量对后端服务造成压力。系统通过 RPM 和 TPM 两个维度对每个 Key 进行精细化速度限制。创建 Key 配置速度参数 →
RPM
RPM(Requests Per Minute):每分钟允许的最大 API 请求数
TPM
TPM(Tokens Per Minute):每分钟允许的最大 Token 消耗量
RPM 和 TPM 共同构成双重速率限制,任一指标达到上限都会触发限流(HTTP 429)。两者配合使用,可以从请求次数和请求规模两个维度同时管控流量。
限流行为与告警
超限响应
当 Key 的 RPM 或 TPM 超过限制时,网关返回 HTTP 429 状态码。
额度告警
当 Key 的日用量或月用量超过配额的 80% 时,状态标签变更为橙色告警。
用量统计
Key 列表中使用量列展示「今日已用 / 日配额」及百分比进度条。
重置周期
日额度每日 00:00 重置,月额度每月 1 日 00:00 重置。
注意事项
- 公司额度修改后仅对新创建的 Key 生效,已有 Key 需单独编辑
- 每月额度必须大于每日额度
- RPM 和 TPM 建议根据实际业务场景合理设置
- 额度上限以 Token 数为单位
- 个人 Key 和应用 Key 的额度是每人独立计算
- 可在 Key 列表中实时查看用量情况