当 AI 训练 AI 评审员：科学判断崩溃及其缓解方案
一项研究考察了使用模型生成的同行评审来递归训练后续评审模型，如何削弱科学判断的多样性。研究人员以 Llama 3.1 8B 为基础，先用 2018 至 2023 年的 ICLR 官方评审进行微调，再使用混合比例不同的官方评审和模型生成评审训练后续模型。加入合成评审后，评分分布趋于收窄，单篇论文和整个语料库的语义多样性均有所下降。作者将这一现象称为“科学判断崩溃”。研究团队还提出开源系统 TrustReviewer，通过精选训练语料和测试时激活引导，减少低质量监督信号及过度趋同的评审建议。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。