华为宣布昇腾当天完成适配小红书开源模型 dots3-note preview
小红书于 8 月 14 日发布开源多模态大模型 dots3-note preview。华为表示，昇腾 Atlas 800 A3 和 Atlas 900 A3 SuperPoD 已在模型发布当天完成全量适配，并通过开源推理引擎 vLLM Ascend 支持文本、图片和音频输入。该模型总参数量为 2800 亿，激活参数量为 160 亿。华为称，适配工作覆盖推理、Agent 和多模态理解，并加入通信优化、MoE 算子融合以及 MTP 投机解码支持，以降低 Token 生成延迟、提升推理吞吐。相关性能说法主要来自华为和小红书，报道未提供独立基准测试结果。
本文来源：IT之家，仅供学习参考，版权归原作者所有。