Strata 可在 12GB 显存显卡上运行 1250 亿参数 Qwen 模型
开发者 Niko1221 开源了推理引擎 Strata，可在显存至少为 12GB 的消费级显卡上运行量化后的 Qwen3.8-Flash-Next（1250 亿参数）。Strata 将 MoE 模型整体放在系统内存中，并把常用专家载入显存，同时使用投机解码。开发者公布的测试显示，RTX 5070 系统在 2 比特量化下生成速度为每秒 94 个词元，3 比特版本为每秒 53 个词元。
本文来源：IT之家，仅供学习参考，版权归原作者所有。