以立体声聆听世界：学习动态空间对应，实现沉浸式视听联合生成
StereoBind是一种视听联合生成框架，可将画面中声源的运动与生成的立体声音位置相联系。它结合了面向声源的视听绑定、用于捕捉绝对位置的编码器，以及用于建模相对运动的方法。研究团队还构建了StereoWorld-29K数据集，其中配对了视频、立体声音频和运动轨迹，并推出用于评估视听空间一致性的StereoWorldBench。实验结果显示，与现有模型相比，StereoBind提升了空间对齐效果，同时保持了整体视听质量。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。