谷歌推出V2A，可為視頻大模型自動匹配語音
谷歌Deepmind在官網推出了視頻轉音頻模型V2A。
用戶可以用視頻+文本提示的方式，通過V2A為視頻模型自動匹配語音。例如，為緊張、恐怖、驚悚的片段自動匹配語音，可以進一步節(jié)省制作時間和提高效率。同時可以與谷歌的視頻模型Veo相結合使用。
目前，Sora、可靈、Gen-3、Dream Machine等知名模型生成的視頻沒有任何聲音，用戶如果想使用這些視頻還需要二次加工配音。
但在嘴型、音軌匹配方面就比較麻煩，而V2A可以生成無限數(shù)量的音軌，用戶可以根據(jù)實際需求來選擇最貼近的內容。
例如，為一個騎馬的牛仔視頻配上音樂，提示詞，草原上夕陽西下時，悠揚柔和的口琴聲響起。
水下游動的水母、海洋生物、海洋
電影、驚悚片、恐怖片、音樂、緊張、氛圍、混凝土上的腳步聲
音樂會舞臺上的鼓手，周圍是閃爍的燈光和歡呼的人群。
一只狼對著月亮嚎叫
下面這個視頻短片的人物嘴型，就通過AI語音進行了精準匹配。
模型架構方面，V2A首先將視頻和音頻提示輸入編碼，生成初始的壓縮表示。然后，通過迭代的方式，擴散模型不斷優(yōu)化音頻，從而使其與視覺信息和文本提示同步。
這一步驟確保生成的音頻不僅具有高逼真度，還能準確反映視頻中的場景和動作。最后，生成的音頻被解碼，轉換為音頻波形，并與視頻數(shù)據(jù)結合。
為了提高音頻質量并增加對特定聲音生成的控制，V2A技術在訓練過程中加入了多種訓練數(shù)據(jù)，包括AI生成的詳細音頻描述和對話的轉錄。
通過這些額外的注釋，V2A系統(tǒng)能夠學習將特定的音頻事件與各種視覺場景關聯(lián)起來，并根據(jù)提供的注釋或轉錄做出響應。
使得V2A技術在處理視頻像素和生成音頻時，不需要手動調整生成的聲音與視頻的對齊，從而避免了繁瑣的聲音、視覺和時間元素的調整，為生成逼真的音效奠定了堅實的基礎。
此外，V2A在改進頻中語音的口型同步方面進行了大量優(yōu)化，會從視頻輸入和文字轉錄中抽取信息，生成初步的音頻表示并通過擴散模型不斷細化。
為了進一步提升口型同步的準確性，V2A在訓練過程中加入了更多的信息，包括AI生成的詳細音頻描述和對話轉錄。可幫助V2A能夠學習將特定的音頻事件與各種視覺場景關聯(lián)起來，并根據(jù)提供的注釋或轉錄做出響應。這不僅改善了語音與口型的同步，還提高了整體音頻生成的質量。
本文轉自 AIGC開放社區(qū) ，作者： AIGC開放社區(qū)
