DeepSeek 宣布开源内部推理框架 DeepInfer
DeepSeek 宣布开源内部推理框架 DeepInfer，以及 Token 编解码组件 deepseek-recipe。DeepInfer 支持分布式推理、推测解码、结构化输出等功能，并兼容英伟达和华为昇腾平台。DeepSeek 表示，此举旨在帮助开发者和企业优化大规模推理服务的吞吐与延迟，同时降低算力和能源成本。据该公司介绍，DeepSeek V4.1 Flash 的高吞吐、低延迟推理服务已基于 DeepInfer 构建。
本文来源：IT之家,AIbase，仅供学习参考，版权归原作者所有。