英伟达开源发布 PAIR,支持 Mac 与 RTX PC 跨设备分担本地 AI 推理
英伟达发布了开源测试版 Personal AI Router(PAIR)。这款软件可在局域网内自动发现可用电脑,并将本地 AI 请求分配给空闲设备,支持 M4 及更新款 Mac、英伟达 RTX PC 和 DGX Spark,同时为 Ollama、LM Studio 等工具提供统一入口。模型仍在目标设备上运行,因此 PAIR 主要用于分担彼此独立的任务,并不意味着增加设备后单个回答会自动变快。英伟达演示显示,将任务拆分给 5 个 AI 子代理,并加入 DGX Spark 和 RTX 5090 后,平均处理时间从 18 分钟缩短至 8 分 48 秒。
本文来源:IT之家,仅供学习参考,版权归原作者所有。