微软升级 Windows 11 AI 框架，实验性原生支持 GGUF 与 ONNX 推理
微软正与 llama.cpp 和 GGUF 开源社区合作，扩展 Windows 11 上的 Windows ML。实验性原生支持可让开发者在设备本地运行 GGUF 和 ONNX 格式模型。新的 Windows ML Runtime API，以及文本生成和语音识别 API，为开发者将相关功能集成到应用中提供了接口。微软和英伟达还为 llama.cpp 提交了性能优化代码。现有 ONNX Runtime API 将继续获得支持，但未来面向 Windows 的优化将优先投入 Windows ML Runtime API。
本文来源：IT之家，仅供学习参考，版权归原作者所有。