Duplex-MPE:全双工对话中的多方交互基准
Duplex-MPE是一项评估语音助手参与多人对话能力的基准,涵盖三到四名人类发言者。它测试助手何时应回答、保持沉默或停止说话。该基准包含2,000个场景,输入为连续对话音频,不提供转录文本或预先划分的发言边界。四项指标分别评估新回应的启动、回答准确性、适当保持沉默,以及人类解决请求时停止发言的能力。在测试的五个开放权重语音系统中,MiniCPM-o 4.5在三项能力上表现最佳。其他系统虽然更频繁发言,但有时回答不准确,或无法适时保持沉默。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。