We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
目前 model ratio 和 completion ratio 是集中维护的,这带来几个问题:
更为合理的方案是,参考 ModelList 的维护方法,每个 Adapter 维护一个 RatioMap,在 DoResponse 返回 usage 的时候连带 ratio 一起返回,或者为 adapter 添加一个获取 ratio 的接口。 进一步,ModelList 可以被这个 RatioMap 替代。
DoResponse
涉及到的改动量可能比较大,目前只是提出一个想法,欢迎大家讨论。
The text was updated successfully, but these errors were encountered:
关于你的第一个问题,是可以通过 model_name(channel_type) 的形式区分的,代码在
model_name(channel_type)
one-api/relay/billing/ratio/model.go
Line 398 in 3915ce9
关于重构,我认为目前面临的主要问题有两个:
Sorry, something went wrong.
是的 model_name(channel_type) 这个方案是我之前提交的,当时是以比较小的工作量完成这件事,只是一个权宜之计。
本次的重构目标之一就是将计费收敛到 Adaptor 内部,由 Adaptor 来独立完成计费。目前已经实现了根据 context 长度的阶梯计价,可以参考 gemini 模型的 RatioMap https://github.com/songquanpeng/one-api/pull/2038/files#diff-717467816f5fd368bc5e174fbdf8d4050b8f1d6d29753483b1a50a6e103a1177
audio 的计价我认为也可以在 RatioMap 中添加字段来扩展计费方式。目前的统一计费方式很难扩展。
是的 model_name(channel_type) 这个方案是我之前提交的,当时是以比较小的工作量完成这件事,只是一个权宜之计。 本次的重构目标之一就是将计费收敛到 Adaptor 内部,由 Adaptor 来独立完成计费。目前已经实现了根据 context 长度的阶梯计价,可以参考 gemini 模型的 RatioMap https://github.com/songquanpeng/one-api/pull/2038/files#diff-717467816f5fd368bc5e174fbdf8d4050b8f1d6d29753483b1a50a6e103a1177 audio 的计价我认为也可以在 RatioMap 中添加字段来扩展计费方式。目前的统一计费方式很难扩展。
谢谢解答,我学习一下
Successfully merging a pull request may close this issue.
目前 model ratio 和 completion ratio 是集中维护的,这带来几个问题:
更为合理的方案是,参考 ModelList 的维护方法,每个 Adapter 维护一个 RatioMap,在
DoResponse
返回 usage 的时候连带 ratio 一起返回,或者为 adapter 添加一个获取 ratio 的接口。进一步,ModelList 可以被这个 RatioMap 替代。
涉及到的改动量可能比较大,目前只是提出一个想法,欢迎大家讨论。
The text was updated successfully, but these errors were encountered: