英特尔推出面向第四至第六代至强处理器的推理微服务
英特尔发布 Intel Inference Microservices，为第四至第六代至强处理器提供大语言模型推理容器服务。首版基于 vLLM，支持 BF16，可运行于 Docker 或 Kubernetes 1.24 及以上环境。容器启动时会检测处理器、可用核心、NUMA 节点和加速器，并应用经过验证的配置。模型通过兼容 OpenAI 的 API 提供服务；没有专用配置时，可回退至通用配置。英特尔计划后续支持更多推理引擎和精度格式，并将服务扩展至 GPU。
本文来源：IT之家，仅供学习参考，版权归原作者所有。