Strata 0.2.10 发布，宣称 8GB 显卡可支持 128K 上下文
开源本地大模型工具 Strata 发布 0.2.10 版本。开发团队称，显存不足时可将部分 KV 缓存转移至系统内存或硬盘，因此 8GB 显卡也能运行最长 128K 的上下文。新版默认启用 DFlash2 推测解码器，官方称其显存占用约为 625MiB，低于此前 MTP 方案的约 5.2GB。开发者使用两张 RTX A6000 测试新的多显卡引擎，代码任务速度从每秒 195 个 token 提升至 377–394 个 token。Strata 建议至少配备 32GB 内存。上述性能数据由开发团队提供，实际表现会因硬件和工作负载而异。
本文来源：AIbase，仅供学习参考，版权归原作者所有。