Whisper 编码器减少六层：利用无标签数据恢复性能
研究提出的方法移除 Whisper large-v3-turbo 中对词错误率（WER）影响最小的六个编码器层，使编码器规模减少 18.5%。生成的模型无需定制推理实现。随后使用无标签单语语音数据进行蒸馏，使四种语言的平均 WER 从剪枝后的 21.9% 降至 20.1%；原始模型为 18.2%。研究团队已公开代码和剪枝后的模型。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。