Skip to content

[Feature/功能]: 允许限制模型指定时间段内的最大Token数 #2102

Description

@TigerBeanst

Pre-submission Checklist / 提交前检查

  • I have searched the existing issues and this feature has not been requested / 我已搜索现有 issues,此功能尚未被提出
  • I have read the documentation / 我已阅读文档

FAQ Check / FAQ 检查

  • I have checked the FAQ and this feature has not been requested there / 我已查阅 FAQ,此功能未被提及

Background / 背景说明

有 OpenAI 开发者平台的每日免费 Token,想通过 Axonhub限制每日最大Token来避免触发收费

Problem Statement / 问题描述

有看到 issue #895 ,但是提到的pr似乎并没有实现效果(

Proposed Solution / 期望方案

针对模型,可以设置时间段内最大Token数量,支持自定义配额刷新时间(例如每日0:00 UTC)和Token数量,时间段内触发最大Token数量的时候返回余额不足或者新的报错提示。

例如:当用户设置了1000 Token为今日上限,今日已经消耗990个Token,当用户发送一个20Token的请求时,因为990+20>1000,请求直接报错返回,不再发送给上游

Feature Category / 功能分类

Channel Management / 渠道管理

Additional Context / 其他补充信息

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions