TokenRouter：高效的 Token 级大语言模型路由服务系统
TokenRouter 是一个开源服务系统，用于在多个大语言模型之间按 Token 级别分配推理任务。与生产环境中广泛采用的会话级或查询级路由相比，Token 级路由有望改善成本与质量之间的权衡，但也带来了步骤不同步、批次接入延迟和实现复杂度高等问题。TokenRouter 采用请求中心化编程与模型中心化执行方式：开发者从单个请求的角度描述路由逻辑，运行时则为每个大语言模型启动子服务器，并异步分发请求。每个子服务器使用延迟批处理调度器，其参数根据数学吞吐量模型推导。在多种路由算法、工作负载和模型组合的测试中，作者称其解码吞吐量比现有系统高出 2.01 至 64.15 倍。项目代码已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。