TenetBench：基于条款的俄语语料库，用于依据职业道德规范评估语言模型
TenetBench收录了3,433条与15部俄语职业道德规范条款相冲突的请求，并为每条请求配对一个仅在正当性上不同的无害请求。自动化流程直接根据规范文本生成任务；研究还从两部英语规范中构建了经人工验证的任务。专家认为，99.5%的冲突请求情境合理。在对14种模型与推理模式组合的测试中，11种在大多数此类请求中生成了违规内容，且通常没有发出警告。近四分之三的警告同时伴随着违规内容。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。