TextReg：通过正则化文本空间优化缓解提示词分布过拟合
该研究探讨了迭代优化提示词如何导致提示词变长，并累积只适用于训练样本的狭窄规则，从而削弱模型在训练分布之外的泛化能力。TextReg采用正则化文本梯度来应对这一问题，包含双重证据梯度净化、语义编辑正则化和正则化引导的提示词更新三个部分。作者称，在多个推理基准测试中，TextReg的分布外准确率相比TextGrad最高提升11.8个百分点，相比REVOLVE最高提升16.5个百分点。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。