OpenAI 向所有客户开放 Decisions API,决策延迟最低降至约 100 毫秒
OpenAI 于 10 月 22 日向所有客户开放 Decisions API。这项面向快速决策场景的服务据称可将处理时间从 1—3 秒缩短至 100—180 毫秒。OpenAI 表示,该 API 并非基于专门训练的独立决策模型,而是重新配置 ChatGPT Luna,以降低延迟和成本。公开版本新增语音和视觉能力,并按地区调度推理资源。在初步测试中,语言学习应用 Speak 将操作间隔从 1.4 秒缩短至 0.13 秒。OpenAI 也用该 API 提升 Dots 语音助手的响应速度。竞争产品包括 Jev、Liquid 的 D1Ultra 和 Base Labs 的 Elephant-1;在已公开的基准测试中,OpenAI 模型排名低于最新 Jev 模型。
本文来源:AIbase,仅供学习参考,版权归原作者所有。