AudioPaLM：谷歌语音理解和生成AI大模型

AudioPaLM是什么？

AudioPaLM 是一个大型语言模型，专为理解和生成语音而设计。它由 Google 的研究团队开发，包括 Paul Rubenstein、Chulayuth Asawaroengchai、Duc Dung Nguyen 等人。AudioPaLM 将基于文本的和基于语音的语言模型，即 PaLM-2 和 AudioLM，融合到一个统一的多模态架构中，可以处理和生成文本和语音。这种模型的应用包括语音识别和语音到语音的翻译。

论文：https://huggingface.co/papers/2306.12925

演示 demo：https://google-research.github.io/seanet/audiopalm/examples/

AudioPaLM能力

AudioPaLM 继承了 AudioLM 的能力，可以保留诸如说话者身份和语调等副语言信息，同时也继承了只存在于大型文本语言模型（如 PaLM-2）中的语言知识。通过使用文本只读大型语言模型的权重初始化 AudioPaLM，可以改善语音处理，成功利用预训练中使用的大量文本训练数据来辅助语音任务。

AudioPaLM 的性能显著优于现有的语音翻译系统，并且具有执行许多语言的零样本语音到文本翻译的能力，即使在训练中没有看到输入/目标语言组合。AudioPaLM 还展示了音频语言模型的特性，例如根据短语音提示在语言之间转换声音。