语义瓶颈:利用语义表征进行非侵入式语音解码
非侵入式语音解码受到神经记录低信噪比的限制,因此难以精细重建单个音素或词语。研究人员提出 Brain2Semantics2Text:该方法先将句子级 MEG 反应映射到语义嵌入空间,再把预测出的嵌入还原为自然语言。这个语义中间层旨在绕过词级对齐,恢复更高层次的语义内容。与此前的非侵入式 Brain2Text 方法相比,该方法在句子级重建方面取得了更好的结果。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。