文本图软提示中的令牌坍缩现象
一项研究分析了 G-Retriever，这是一种利用图神经网络生成图特定令牌，并将其注入大型语言模型提示的方法。研究覆盖三个基准、三种图编码器、两个 LLM 系列，以及冻结模型和采用 LoRA 适配的模型。结果显示，不同输入生成的图令牌几乎无法区分。将令牌替换为数据集均值、其他样本的令牌，或由损坏图生成的令牌，都没有对答案准确率产生明显影响。一个从不读取图结构的学习型常量提示，其表现也能与 G-Retriever 持平甚至更好。作者将这一现象称为“令牌坍缩”，并指出令牌的变化本身不能证明模型使用了图信息。研究还提出了一种生成非坍缩令牌的两阶段方法，并公开了实验复现代码。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。