边缘端离线生成式 AI 的信任机制：连接状态框架与树莓派 5 实证研究
本研究在网络隔离的树莓派 5 上评估完全本地运行的检索增强生成。研究提出连接状态框架，并使用三种规模的 Qwen2.5 模型和 300 道 SQuAD 2.0 题目测试信任机制。经过校准的检索分数门槛能够较好地发现知识缺口，但对主题相关却无法回答的问题识别较差。确定性输出验证器可以拒绝格式错误的输出，且未观察到正确答案损失；测试的 NLI 验证器帮助有限。小型模型的标准答案涵盖率与 7B 模型相同，而延迟和估算能耗不到其一半；大型模型则更常达到 token-F1 阈值。检索五段文本而非三段会降低正确率。带有有效签名的投毒知识包仍能通过全部检查并注入错误答案。这些机制无法验证证据本身是否真实。研究公开了代码和数据。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。