譯者 | 朱先忠

審校 | 重樓

簡介

你有沒有看過配音糟糕的電影，嘴唇動作和臺詞不同步？或者在視頻通話中，對方的嘴型和聲音不同步？這些同步問題不僅僅是煩人，而是視頻制作、廣播和實時通信中一個真正的問題。Syncnet論文（見“項目源碼”一節）通過一種巧妙的自監督方法正面解決了這個問題，該方法可以自動檢測并修復音視頻同步問題，無需任何手動注釋。特別酷的是，修復同步問題的同一個模型，通過學習嘴唇動作和語音之間的自然關聯，也能識別出在擁擠的房間里是誰在說話。

核心應用程序

使用訓練好的卷積神經網絡的輸出可以執行的下游任務具有重要的應用價值，包括確定視頻中的唇形同步誤差、在多人臉場景中檢測說話者以及唇讀。開發唇形同步誤差應用程序時，如果同步偏移存在于-1到+1秒范圍內（此范圍可能有所不同，但通常足以滿足電視廣播音視頻的需求），即視頻滯后于音頻或音頻滯后于視頻，時間范圍為-1到+1秒，我們就可以確定偏移量。例如，假設音頻滯后視頻200毫秒，這意味著視頻比音頻領先200毫秒，在這種情況下，我們可以將音頻向前移動200毫秒，從而使偏移同步問題接近于0；因此，它也可以用于使音視頻同步（如果偏移量在我們在此處取的-1到+1秒范圍內）。

自我監督訓練方法

論文中提供的訓練方法是自監督的，這意味著無需人工注釋或手動標記；用于訓練模型的正樣本對和負樣本對無需手動標記即可生成。此方法假設我們獲得的數據已經同步（音頻和視頻同步）；因此，我們已獲得音頻和視頻同步的正樣本對，并通過將音頻偏移±幾秒使其異步來制作音頻和視頻不同步的假樣本對（用于訓練網絡的假樣本對）。這樣做的好處是，只要數據同步且源數據中沒有同步問題，我們就可以擁有幾乎無限量的數據進行訓練，從而可以輕松地制作用于訓練的正樣本對和負樣本對。

網絡架構：雙流CNN

談到架構，它有兩個流：音頻流和視頻流，或者用外行的話來說，該架構分為兩個分支：一個用于音頻，一個用于視頻。兩個流都需要0.2秒的輸入；其中，音頻流需要0.2秒的音頻，視頻流需要0.2秒的視頻。音頻和視頻流的網絡架構都是基于CNN的，需要2D數據。對于視頻（幀/圖像），CNN似乎很自然；但是，對于音頻，也需要訓練基于CNN的網絡。對于視頻和相應的音頻，首先完成各自的數據預處理，然后將它們輸入到各自的CNN架構中。

音頻數據預處理

音頻數據預處理——原始的0.2秒音頻經過一系列步驟，得到一個13x20的MFCC矩陣。其中，13是與該音頻塊相關的DCT系數，代表該音頻的特征；20是時間方向的，因為MFCC頻率為100Hz，所以對于0.2秒，會有20個樣本，每個樣本的DCT系數由13x20矩陣的一列表示。13x20矩陣是CNN音頻流的輸入。網絡的輸出是一個256維的嵌入，表示0.2秒的音頻。

視頻數據預處理

視頻預處理——此處的CNN期望輸入尺寸為111×111×5（W×H×T），即5幀(h,w)=(111,111)的灰度口部圖像。對于25fps的幀率，0.2秒相當于5幀。0.2秒的原始視頻以25fps的幀率進行視頻預處理，轉換為111x111x5的圖像，并輸入到CNN網絡。網絡的輸出是一個256維的嵌入向量，用于表示0.2秒的視頻。

音頻預處理比視頻更簡單，復雜度也更低。讓我們了解如何從原始源中選擇0.2秒的視頻及其對應的音頻。我們的目標是獲得一個視頻片段，其中0.2秒內只有一個人并且沒有場景變化，只有一個人在0.2秒內說話。在此階段，除此之外的任何內容對我們的模型來說都是壞數據。因此，我們對視頻運行視頻數據預處理，其中我們進行場景檢測，然后進行人臉檢測、人臉跟蹤，裁剪嘴部并將視頻的所有幀/圖像轉換為111×111的灰度圖像并將其提供給CNN模型，相應的音頻部分轉換為13×20矩陣并提供給音頻CNN。人臉數量>1的片段將被拒絕；由于我們在流程中應用了場景檢測，因此0.2秒片段中沒有場景變化。因此，我們最終得到的是一段有音頻且視頻中有一個人物的視頻，這滿足了數據管道的基本需求。

聯合嵌入空間學習

網絡學習一個聯合嵌入空間，這意味著音頻嵌入和視頻嵌入將被繪制在一個共同的嵌入空間中。在聯合嵌入空間中，同步的音頻和視頻嵌入彼此靠近，而不同步的音頻和視頻嵌入在嵌入空間中相距較遠。同步的音頻和視頻嵌入之間的歐氏距離會更小，反之亦然。

損失函數和訓練細化

使用的損失函數是對比損失。對于正樣本對（例如，同步音頻-視頻0.2秒），音頻和視頻嵌入之間的歐氏距離平方應該最??；如果該值過高，則會受到懲罰。因此，對于正樣本對，歐氏距離平方應最小化；對于負樣本對，應最小化max(margin–歐氏距離,0)2。

我們通過移除數據中的假陽性來精煉訓練數據。我們的數據仍然包含假陽性（噪聲數據），首先在噪聲數據上訓練同步網絡，然后移除那些未達到特定閾值的正樣本對（標記為同步音視頻正樣本對），以此來移除假陽性。噪聲數據（假陽性）的出現可能是由于配音視頻、有人從后面說話、音視頻不同步，或者這些因素在精煉步驟中被過濾掉了。

推理與應用

現在，神經網絡已經訓練完畢，讓我們來討論一下從訓練模型中得出的推理和實驗結果。

測試數據中存在音頻-視頻的正對和負對，因此我們的模型的推斷應該為測試數據中的正對給出較低的值（最小歐氏距離），為測試數據中的負對給出較高的值（最大歐氏距離）。這是我們模型的一種實驗或推斷結果。

確定偏移量也是一種實驗，或者說是我們訓練好的模型推理的一種應用。輸出將是偏移量，例如音頻領先200毫秒或視頻領先170毫秒——確定視頻或音頻滯后的同步偏移值。這意味著，調整模型確定的偏移量應該可以解決同步問題，并使片段從不同步變為同步。

如果通過偏移值調整音頻視頻可以解決同步問題，則意味著成功；否則，模型失?。僭O在我們正在計算固定視頻（0.2秒）和各種音頻塊（每個0.2秒，在-x到+x秒范圍內滑動，x=1秒）之間的歐幾里得距離的范圍內的那個固定視頻存在同步音頻）。源剪輯的同步偏移可以通過計算源剪輯中1個0.2秒視頻的同步偏移值來確定，也可以通過對源剪輯中的幾個0.2秒樣本進行平均然后給出平均偏移同步值來確定。后者比前者更穩定，測試數據基準也證明取平均值是更穩定、更好的告知同步偏移值的方法。

模型會給出與此偏移量相關的置信度分數，稱為AV同步置信度分數。例如，假設源片段存在偏移量，音頻領先視頻300毫秒，置信度分數為11。因此，了解這個置信度分數的計算方法非常重要，讓我們通過一個例子來理解。

實際示例：偏移量和置信度分數計算

假設我們有一個10秒的源片段，并且我們知道這個源片段有一個同步偏移，即音頻領先視頻300毫秒?，F在我們來看看如何使用同步網絡來確定這個偏移。

我們取十個0.2秒的視頻作為v1，v2，v3……v10。

讓我們了解如何計算v5的同步分數和置信度分數，并且所有10個視頻片斷/樣本/塊都會發生類似的情況。

源剪輯：共10秒

v1：0.3-0.5秒      [–]

v2：1.2-1.4秒      [–]

v3：2.0-2.2秒      [–]

v4：3.1-3.3秒      [–]

v5：4.5-4.7秒      [–]

v6：5.3-5.5秒      [–]

v7：6.6-6.8 秒      [–]

v8：7.4-7.6 秒      [–]

v9：8.2-8.4秒      [–]

v10：9.0-9.2秒      [–]

我們將v5作為一個時長0.2秒的固定視頻?，F在，我們將使用訓練好的syncnet模型，計算多個音頻塊（將使用滑動窗口方法）與這個固定視頻塊之間的歐氏距離。具體方法如下：

v5的音頻采樣將在3.5秒到5.7秒（v5的±1秒）之間進行，這為我們提供了2200毫秒（2.2秒）的搜索范圍。

設定重疊窗口參數如下：

• 窗口大?。?00毫秒（0.2秒）
• 跳長（Hop length）：100ms
• 窗戶數量：21

于是有如下結果數據：

Window 1:  3500-3700ms → Distance = 14.2

Window 2:  3600-3800ms → Distance = 13.8

Window 3:  3700-3900ms → Distance = 13.1

………………

Window 8:  4200-4400ms → Distance = 2.8  ← MINIMUM (audio 300ms early)

Window 9:  4300-4500ms → Distance = 5.1

………………

Window 20: 5400-5600ms → Distance = 14.5

………………

Window 21: 5500-5700ms → Distance = 14.9

v5的同步偏移=-300ms（音頻領先視頻300ms），Confidence_v5=中位數（~12.5）-最小值（2.8）=9.7

因此，300毫秒偏移的v5的置信度得分為9.7，這就是syncnet給出的置信度得分的計算方式，它等于固定v5的中位數（所有窗口或音頻箱）-最小值（所有窗口或音頻箱）。

類似地，每個其他視頻箱都有一個偏移值和相關的置信度分數。

v1 (0.3-0.5s):   Offset = -290ms, Confidence = 8.5

v2 (1.2-1.4s):   Offset = -315ms, Confidence = 9.2  

v3 (2.0-2.2s):   Offset = 0ms,    Confidence = 0.8  (silence period)

v4 (3.1-3.3s):   Offset = -305ms, Confidence = 7.9

v5 (4.5-4.7s):   Offset = -300ms, Confidence = 9.7

v6 (5.3-5.5s):   Offset = -320ms, Confidence = 8.8

v7 (6.6-6.8s):   Offset = -335ms, Confidence = 10.1

v8 (7.4-7.6s):   Offset = -310ms, Confidence = 9.4

v9 (8.2-8.4s):   Offset = -325ms, Confidence = 8.6

v10 (9.0-9.2s):  Offset = -295ms, Confidence = 9.0

平均值（忽略低置信度v3）是：（-290–315–305–300–320–335–310–325–295）/9=-305ms

或者，如果包含所有10個基于置信度的加權平均：最終偏移≈-300ms（音頻領先視頻300ms）：這就是計算源剪輯偏移的方式。

【重要提示】要么根據置信度得分進行加權平均，要么刪除置信度較低的得分，因為不這樣做會導致：

簡單平均值（包括靜音）–錯誤：（-290–315+0–305–300–320–335–310–325–295）/10=-249.5ms，這與真正的300ms相差甚遠！

這解釋了為什么該論文使用平均樣本時準確率能達到99%，而使用單樣本時準確率只有81%。適當的基于置信度的過濾/加權可以消除誤導性的靜默樣本。

多人場景中的說話人識別

同步得分的另一個重要應用是多人場景中的說話人識別。當有多張人臉可見但只能聽到一個人的聲音時，Syncnet會根據同一條音頻流計算每張人臉的同步置信度。我們并非針對一張人臉按時間順序滑動音頻，而是在同一時間點評估所有人臉——將每張人臉的口部動作與當前音頻進行比較，以生成置信度得分。說話的人臉自然會產生較高的置信度（視聽相關性強），而沉默的人臉則會產生較低的置信度（無相關性）。通過對10-100幀的測量結果進行平均，眨眼或運動模糊造成的瞬態誤差會被濾除，類似于同步檢測中處理靜默期的方式。

結論

Syncnet證明，有時最佳解決方案源于徹底重新思考問題。它無需繁瑣的手動標記同步錯誤，而是巧妙地利用了大多數視頻內容一開始就同步正確的假設，將普通視頻轉化為無限的訓練數據集。其妙處在于其簡單易用：訓練兩個CNN，創建嵌入向量，使同步的音視頻對自然地聚類在一起。該方法在對多個樣本進行平均時準確率高達99%，并且能夠處理從廣播電視到各種YouTube視頻的各種內容，事實證明它非常穩健。無論你是在后期制作中修復同步問題，還是構建下一代視頻會議應用，Syncnet背后的原理都為大規模解決現實世界中的音視頻對齊問題提供了實用藍圖。

項目源碼和實施

• 本文項目的GitHub實現：SyncNet模型的Python實現
• 官方項目頁面：Chung, Joon Son和Andrew Zisserman，《超越時空：野外自動唇形同步》；亞洲計算機視覺大會（ACCV），臺北，中國臺灣，2016年，第251-263頁。Springer國際出版社；牛津大學工程科學系視覺幾何團隊。

譯者介紹

朱先忠，51CTO社區編輯，51CTO專家博客、講師，濰坊一所高校計算機教師，自由編程界老兵一枚。

原文標題：The SyncNet Research Paper, Clearly Explained，作者：Aman Agrawal