额度管理

配置租户级别的默认 Token 用量额度。所有用户的 API Key 将继承该默认额度,管理员也可以在 Key 级别单独调整。

功能入口

在租户管理后台中,导航至「参数配置 → 额度管理」即可进入额度配置页面。该页面仅对租户管理员(Tenant Admin)角色开放。

配置字段说明

图 1:系统默认额度配置页面

图 1:系统默认额度配置页面

字段单位说明
每日额度(Daily Quota)M每个 API Key 每天可以消耗的最大 Token 数,单位为 M(百万)。默认值为 100M Token。当 Key 的日消耗量达到此值时,超出部分的请求将被限制。
每月额度(Monthly Quota)M每个 API Key 每月可以消耗的最大 Token 数,单位为 M(百万)。默认值为 2000M Token。月度额度应大于每日额度。
每分钟请求数(RPM)次/分钟每个 API Key 每分钟允许的最大请求数,用于限制请求频率,防止突发流量对后端服务造成压力。默认值为 100。
每分钟 Token 数(TPM)M每个 API Key 每分钟允许消耗的最大 Token 数,单位为 M(百万)。与 RPM 配合使用,从速率和用量两个维度限制请求。默认值为 1M Token/分钟。

配置生效机制

  • 配置保存后,仅对新创建的 Key 生效
  • 已有 Key 的额度配置需要在 Key 列表中逐个编辑修改
  • 每月额度必须大于每日额度
  • RPM 和 TPM 共同构成速度限制

操作说明

  1. 进入「参数配置 → 额度管理」页面,查看当前配置的额度参数
  2. 根据需要修改各额度字段的值(所有字段均不能为空,且月度额度必须大于每日额度)
  3. 点击「保存配置」按钮使新额度生效;点击「重置」按钮恢复为上次保存的值

注意事项

  • 额度配置为租户级别的默认值,新建的 API Key 会继承此默认额度。对于已有 Key 可通过 Key 编辑页面单独调整
  • 修改默认额度不会自动应用到已有的 API Key 上,仅影响新建 Key
  • 部门额度独立于租户默认额度,可单独为每个部门设置每日/每月额度
  • 额度限制在网关层实时执行,超限请求会被直接拒绝并返回对应的错误码