TAO：面向 LLM 智能体服务的工具感知联合调度
智能体服务会在 GPU 集群上的模型推理与分布式 CPU 上的外部工具调用之间交替运行。TAO 将工具结果就绪时间、节点级缓存状态和 token 需求纳入调度，并通过动态规划在容量限制下选择和放置等待中的会话。在 12 组模型、工作负载和并发设置中，与各项指标下表现最佳的受测基线相比，TAO 将延迟最多降低 26.8%，平均首 token 时间最多降低 36.3%，并将解码吞吐量最多提高 29.5%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。