开源应用 Llama for Windows 发布，可便捷下载模型并在本地运行
Llama for Windows 是一款免费开源应用，旨在简化 Windows 11 上的语言模型本地运行。用户可通过应用浏览并下载 Hugging Face 模型，主要使用量化 GGUF 格式，并由 llama.cpp 执行推理。该应用支持 x64 和 ARM64，提供聊天界面及兼容 OpenAI API 的本地服务器，安装无需管理员权限。据介绍，提示词和推理过程均在本机完成；但下载模型和更新仍需要联网。
本文来源：AIbase，仅供学习参考，版权归原作者所有。