额度与速度管控

了解三级额度体系,配置 Key 级别的访问速度与 Token 用量限制,实现精细化的 API 调用管控

说明:本页面介绍 Key 级别的额度和速度配置。每个 Key 可独立设置 RPM、TPM 和 Token 额度上限。系统级默认额度请在「系统设置 → 额度管理」页面配置。

三级额度体系

Tarogo AI 网关的额度管理分为三个层级,从公司到个人逐级精细化管理:

🏢 公司额度(租户级)

公司额度是最高层级的默认额度配置,对所有用户和部门生效。当用户和部门未配置自定义额度时,将自动使用公司额度。可在「系统设置 → 额度管理」中配置。

额度管理 →

🏛️ 部门额度

部门额度允许为特定部门设置独立的额度上限。配置后,该部门下所有用户默认继承部门额度。可在「部门管理」中配置,支持留空以继承公司额度。

部门管理

👤 个人额度

个人额度是为特定用户单独配置的额度,优先级最高。可在「用户管理」中配置,支持留空以继承上级额度。

用户管理

额度优先级与回退机制

  • 个人额度 > 部门额度 > 公司额度:实际生效额度按此优先级取值
  • 个人额度留空时,自动回退到所属部门的额度配置
  • 部门额度留空时,自动回退到公司额度配置

💡 提示:在用户管理或部门管理中编辑额度时,将字段留空即可清空当前层级的额度,系统会自动按优先级回退到上一级额度。

速度管控

速度管控用于限制 API Key 的请求频率,防止突发流量对后端服务造成压力。系统通过 RPM 和 TPM 两个维度对每个 Key 进行精细化速度限制。创建 Key 配置速度参数 →

RPM

RPM(Requests Per Minute):每分钟允许的最大 API 请求数

TPM

TPM(Tokens Per Minute):每分钟允许的最大 Token 消耗量

RPM 和 TPM 共同构成双重速率限制,任一指标达到上限都会触发限流(HTTP 429)。两者配合使用,可以从请求次数和请求规模两个维度同时管控流量。

限流行为与告警

超限响应

当 Key 的 RPM 或 TPM 超过限制时,网关返回 HTTP 429 状态码。

额度告警

当 Key 的日用量或月用量超过配额的 80% 时,状态标签变更为橙色告警。

用量统计

Key 列表中使用量列展示「今日已用 / 日配额」及百分比进度条。

重置周期

日额度每日 00:00 重置,月额度每月 1 日 00:00 重置。

注意事项

  • 公司额度修改后仅对新创建的 Key 生效,已有 Key 需单独编辑
  • 每月额度必须大于每日额度
  • RPM 和 TPM 建议根据实际业务场景合理设置
  • 额度上限以 Token 数为单位
  • 个人 Key 和应用 Key 的额度是每人独立计算
  • 可在 Key 列表中实时查看用量情况