从检索到类型化决策：基于生物医学句子编码器的校准型 System One 模型
类型化决策模型可通过一次前向推理回答受模式约束的文本问题，并返回可按阈值判定的概率。本研究考察面向检索训练的生物医学句子编码器能否作为此类模型的良好起点。研究推出 SBERT2S1，可将 Sentence-Transformers 编码器转换为决策模型；生物医学评测套件 BIODECIDE；以及由 NLM 索引数据生成、包含 24.3 万条训练决策的 MEDLINE-S1。在六组模型配对中，检索训练提升了对含有实质内容选项的零样本匹配效果。微调后的影响取决于模型头：保留检索先验的 PFR 在 15 项比较中有 10 项受益；C 仅有 1 项受益、5 项受损。在所有测试的训练目标下，C 均优于 PFR。已发布的开放 System One 模型 RLCD 配方比交叉熵低 2.5 至 3.0 个百分点，主要原因是奖励归一化放大了噪声较大的得分函数项。温度缩放后，没有其他训练目标的校准效果明确优于交叉熵。研究发布了代码、标签和一个模型。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。