中国电信开源 Xing4.0-29B-A4B，消费级显卡也可运行长上下文
中国电信发布了 Xing4.0-29B-A4B。这款混合专家模型总参数量为290亿，每次推理激活约40亿参数，原生支持25.6万 token上下文，并可扩展至51.2万 token。公司称，该模型从使用昇腾芯片训练，到框架适配和推理部署，均采用国产硬件与软件。在其公布的 SuperCLUE 评测中，模型的智能体能力获得93.52分，排名第三。经过4-bit量化后，显存占用据称约为15GB，可在 RTX 3090、RTX 4090等消费级显卡上本地运行。模型支持 LLaMA-Factory、MindFormers、SGLang 和 vLLM等工具，并已上线多个开源社区。上述性能和排名主要基于官方披露，仍需更多独立测试验证。
本文来源：AIbase，仅供学习参考，版权归原作者所有。