小红书开源模型获突破:华为昇腾完成发布即全量适配与性能优化
小红书发布了新开源模型 dots3-note 的预览版。据介绍,该模型总参数量为2800亿,激活参数量为160亿,支持文本、视觉和语音等多模态能力。华为表示,Atlas 800A3 与 Atlas 900A3 SuperPoD 平台已在模型发布当日完成全量适配,并通过开源推理引擎 vLLM Ascend 支持部署和运行。优化内容包括多模态处理、通信与计算融合、MoE 推理吞吐量,以及利用 MTP 投机解码降低增量推理延迟。公告未提供独立基准测试,因此仅凭现有信息无法验证其“接近更大规模优秀模型”的性能说法。
本文来源:AIbase,仅供学习参考,版权归原作者所有。