GitHub Copilot 将支持本地 AI 推理：Surface Laptop Ultra 每秒最高 63 个词元
微软计划在本月底前为 GitHub Copilot 增加本地模型推理能力。开发者可以让 Copilot 自动在云端模型与设备端模型之间切换，也可以强制使用本地推理；相关偏好可在 Copilot CLI、Copilot 应用和 Visual Studio Code 中设置。可选方案包括通过 Windows ML 使用 MAI Code 1.1 Flash，以及连接兼容 OpenAI 的本地端点。微软称该模型总参数量为 1370 亿，活跃参数量为 68 亿，并采用量化和推测解码。在 Surface Laptop Ultra 上的测试中，根据提示长度不同，吞吐量为每秒 40 至 63 个词元。
本文来源：IT之家，仅供学习参考，版权归原作者所有。