通过可执行计划与自蒸馏 Transfusion 生成和编辑空间音频
AMBIT 是用于生成和编辑一阶 Ambisonics（FOA）音频的统一框架。它将自回归规划与 Rectified Flow 渲染相结合，通过可执行的 ScenePlan 指定声源、活动状态和 3D 轨迹。编辑时，计划描述完整的目标场景，参考音频则帮助保留不需要修改的声音。面向 FOA 的连续 VAE 和联合 on-policy 自蒸馏旨在保留空间结构与声学细节。研究在语音、音乐和声音任务上进行评估，报告称，与所比较的基线方法相比，该框架在生成质量、指令引导编辑以及保留未编辑声源方面有所改善。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。