Specter：通过量化支持的多步推测式卸载加速 MoE 推理
Specter 是一套面向混合专家（MoE）模型的推理系统，适用于专家无法全部装入单张 GPU 显存的情况。量化草稿模型会预测后续所需的专家，使系统能够提前从主机内存传输专家数据，从而缓解 PCIe 瓶颈。在单请求推理测试中，与作为对照的先进系统相比，Specter 将每个输出 token 的耗时平均提升至 1.50 倍，最高达 1.88 倍。代码已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。