語(yǔ)音分離領(lǐng)域針對(duì)具有挑戰(zhàn)性的 “雞尾酒會(huì)問(wèn)題”，隨著深度神經(jīng)網(wǎng)絡(luò) (DNN) 的發(fā)展，該領(lǐng)域取得了革命性的進(jìn)展。語(yǔ)音分離可以用于獨(dú)立應(yīng)用，在復(fù)雜的聲學(xué)環(huán)境中提高語(yǔ)音清晰度。此外，它還可以作為其他語(yǔ)音處理任務(wù)（如語(yǔ)音識(shí)別和說(shuō)話人識(shí)別）的重要預(yù)處理方法。

為了應(yīng)對(duì)當(dāng)前的文獻(xiàn)綜述往往只關(guān)注特定的架構(gòu)設(shè)計(jì)或孤立的學(xué)習(xí)方法，導(dǎo)致對(duì)這個(gè)快速發(fā)展的領(lǐng)域的理解碎片化的現(xiàn)實(shí)情況，清華大學(xué)、青海大學(xué)、南京大學(xué)、南方科技大學(xué)、中國(guó)科學(xué)院大學(xué)、字節(jié)跳動(dòng)的研究者們?nèi)嬲{(diào)研了該領(lǐng)域的發(fā)展和最前沿的研究方法，在深度學(xué)習(xí)方法、模型架構(gòu)、研究主題、評(píng)測(cè)指標(biāo)、數(shù)據(jù)集、工具平臺(tái)、模型效果比較、未來(lái)挑戰(zhàn)等多個(gè)維度，撰寫了一項(xiàng)統(tǒng)一、全面的綜述論文，對(duì) 200 余篇代表性論文進(jìn)行了系統(tǒng)歸納和分析。

表1 基于深度學(xué)習(xí)的語(yǔ)音分離最新調(diào)查與綜述的比較分析

• 論文鏈接：https://arxiv.org/abs/2508.10830
• Methods Search：https://cslikai.cn/Speech-Separation-Paper-Tutorial/
• Github鏈接：https://github.com/JusperLee/Speech-Separation-Paper-Tutorial

問(wèn)題定義

作者們從語(yǔ)音分離領(lǐng)域的宏觀角度出發(fā)，根據(jù)混合說(shuō)話人數(shù)量是否已知將已知人數(shù)分離和未知人數(shù)分離兩類。當(dāng)說(shuō)話人數(shù)固定且已知時(shí)，網(wǎng)絡(luò)輸出固定個(gè)數(shù)的通道，可以通過(guò)深度聚類 (Deep Clustering) 或 Permutation Invariant Training（PIT，排列不變訓(xùn)練）等策略解決輸出順序不確定的 “排列歧義” 問(wèn)題。對(duì)于未知人數(shù)的情況，模型需要?jiǎng)討B(tài)決定輸出通道數(shù)并判斷何時(shí)結(jié)束分離。這帶來(lái)巨大挑戰(zhàn)：如說(shuō)話人排列組合隨人數(shù)增加呈指數(shù)擴(kuò)展、需要在分離質(zhì)量與終止時(shí)機(jī)之間權(quán)衡避免欠分離或過(guò)分離等。為應(yīng)對(duì)這些問(wèn)題，研究者提出了遞歸分離、動(dòng)態(tài)網(wǎng)絡(luò)等框架來(lái)逐步提取不定數(shù)量的聲源。作者們從問(wèn)題定義部分明確了語(yǔ)音分離任務(wù)的目標(biāo)和難點(diǎn)，為后續(xù)技術(shù)討論奠定了基礎(chǔ)。

圖 1 已知 / 未知聲源數(shù)量的語(yǔ)音分離概述。

學(xué)習(xí)范式

作者們分類總結(jié)了學(xué)習(xí)范式，比較了不同方法的適用場(chǎng)景和優(yōu)缺點(diǎn)，為讀者理解監(jiān)督與非監(jiān)督方法在語(yǔ)音分離中的權(quán)衡提供了清晰脈絡(luò)。重點(diǎn)對(duì)比了有監(jiān)督和無(wú)監(jiān)督（含自監(jiān)督）學(xué)習(xí)方法。有監(jiān)督學(xué)習(xí)利用配對(duì)的混合音頻及純凈源音頻進(jìn)行訓(xùn)練，是目前最成熟的范式。針對(duì)有監(jiān)督訓(xùn)練中不同源輸出無(wú)法一一對(duì)應(yīng)的標(biāo)簽置換問(wèn)題，研究者提出了兩類經(jīng)典方案：

一是深度聚類方法（DPCL），通過(guò)神經(jīng)網(wǎng)絡(luò)將混合語(yǔ)音的時(shí)頻單元映射到高維嵌入空間，再將嵌入向量聚類以生成每個(gè)聲源的掩膜，從而避免直接輸出固定順序的源信號(hào)；

二是 Permutation Invariant Training（PIT）方法，在訓(xùn)練時(shí)對(duì)網(wǎng)絡(luò)輸出的來(lái)源標(biāo)簽進(jìn)行動(dòng)態(tài)匹配，只保留誤差最小的排列來(lái)更新模型，從而使網(wǎng)絡(luò)學(xué)習(xí)到與輸出排列無(wú)關(guān)的分離能力。

圖 2 受監(jiān)督的語(yǔ)音分離工作流程。

無(wú)監(jiān)督學(xué)習(xí)則不依賴配對(duì)的干凈源參考，探索利用未標(biāo)注的混合語(yǔ)音直接訓(xùn)練分離模型。例如，MixIT（混合 - 分離訓(xùn)練）方法通過(guò)將兩段混合語(yǔ)音再混合作為輸入，讓模型輸出更多分量并設(shè)計(jì)損失函數(shù)僅依賴輸入混合物，實(shí)現(xiàn)無(wú)需純凈源標(biāo)簽的訓(xùn)練。這類方法以及基于生成模型的自監(jiān)督策略（如變分自編碼器 VAE 方法、擴(kuò)散模型等）為無(wú)法獲得干凈訓(xùn)練數(shù)據(jù)的場(chǎng)景提供了新思路。

模型架構(gòu)

模型架構(gòu)部分系統(tǒng)總結(jié)了語(yǔ)音分離模型的核心組成和演進(jìn)路線。典型架構(gòu)包含編碼器、分離網(wǎng)絡(luò)和解碼器。

圖 3 不同方案的發(fā)展脈絡(luò)

綜述按網(wǎng)絡(luò)類型歸納了主要的分離器架構(gòu)：

基于 RNN 的模型利用循環(huán)神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)捕獲語(yǔ)音信號(hào)中的長(zhǎng)時(shí)依賴關(guān)系。早期很多方法在頻域用雙向 LSTM 生成掩膜；后來(lái)出現(xiàn)直接處理時(shí)域波形的端到端模型（如 TasNet 系列  ），避免了相位重建難題并提升效率。代表性的 Dual-Path RNN（雙路徑 RNN）通過(guò)劃分長(zhǎng)序列為短塊并在塊內(nèi)和塊間雙路徑循環(huán)處理，高效建模長(zhǎng)序列，被視為 RNN 架構(gòu)的里程碑。

基于 CNN 的模型利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的局部特征提取能力，適合直接對(duì)原始波形建模。Conv-TasNet 等時(shí)域卷積模型通過(guò)空洞卷積等技術(shù)兼顧短時(shí)細(xì)節(jié)和長(zhǎng)程依賴，在無(wú)需頻域處理的情況下取得了優(yōu)異分離效果?；谧宰⒁饬Φ哪Ｐ停═ransformer 及其變種）引入了全局序列建模能力，在語(yǔ)音分離中用于捕獲長(zhǎng)距離依賴并建模復(fù)雜場(chǎng)景下源間關(guān)系。

近年來(lái)出現(xiàn)的 SepFormer 等 Transformer 架構(gòu)進(jìn)一步刷新了分離性能。還有混合架構(gòu)將上述優(yōu)勢(shì)結(jié)合，例如將 CNN 的局部建模和 RNN/Transformer 的長(zhǎng)程建模相融合，以兼顧不同尺度的信息。

除了分離網(wǎng)絡(luò)，綜述還討論了音頻重構(gòu)策略：一類是掩膜估計(jì)，即模型輸出每個(gè)源的時(shí)間頻率掩膜，乘以混合后再重建源信號(hào)；另一類是直接映射，即模型直接輸出各源的波形或特征表示。掩膜方法簡(jiǎn)單直觀且易于結(jié)合頻域特征，而直接法避免誤差傳播，有望獲取更高保真度。

總體而言，本節(jié)脈絡(luò)清晰地展現(xiàn)了模型架構(gòu)從早期循環(huán)網(wǎng)絡(luò)到卷積、再到自注意力和混合模型的演進(jìn)，以及各種重構(gòu)方式的權(quán)衡，凸顯了架構(gòu)創(chuàng)新對(duì)性能提升的驅(qū)動(dòng)作用。

評(píng)估指標(biāo)

評(píng)價(jià)語(yǔ)音分離效果需要科學(xué)全面的指標(biāo)體系，以便衡量模型性能、指導(dǎo)算法優(yōu)化并確保滿足實(shí)際應(yīng)用需求。該綜述將評(píng)估指標(biāo)分為主觀和客觀兩大類。綜述對(duì)比了各種指標(biāo)的優(yōu)劣：主觀評(píng)價(jià)貼近人耳體驗(yàn)但難以大規(guī)模獲取，客觀指標(biāo)高效客觀但各自側(cè)重不同方面，需要結(jié)合使用。綜合運(yùn)用主客觀評(píng)價(jià)能夠更完整地刻畫語(yǔ)音分離系統(tǒng)的性能，為研究和應(yīng)用提供可靠依據(jù)。

表 2 不同評(píng)價(jià)指標(biāo)的對(duì)比

數(shù)據(jù)集

公開數(shù)據(jù)集為語(yǔ)音分離研究提供了標(biāo)準(zhǔn)測(cè)試，他們按照單通道和多通道對(duì)主流數(shù)據(jù)集進(jìn)行了總結(jié)。通過(guò)對(duì)數(shù)據(jù)集的梳理，研究者可以了解各數(shù)據(jù)集所覆蓋的場(chǎng)景和難度，有助于選擇合適的數(shù)據(jù)集來(lái)評(píng)估算法并發(fā)現(xiàn)當(dāng)前研究還未覆蓋的場(chǎng)景（例如更長(zhǎng)時(shí)段對(duì)話、開放域噪聲環(huán)境等），從而指導(dǎo)未來(lái)數(shù)據(jù)收集和模型開發(fā)。

表 3 不同數(shù)據(jù)集的比較

實(shí)驗(yàn)結(jié)果

他們匯總了不同模型在各標(biāo)準(zhǔn)數(shù)據(jù)集上的分離性能對(duì)比，勾勒出語(yǔ)音分離技術(shù)近年來(lái)的進(jìn)步軌跡。作者列舉了眾多具有代表性的模型在若干公開基準(zhǔn)上的評(píng)測(cè)結(jié)果，并通過(guò)圖表展示性能隨時(shí)間的提升趨勢(shì)。

例如，在經(jīng)典數(shù)據(jù)集 WSJ0-2mix 上，早期模型（如 DPCL、uPIT-BLSTM 等）能達(dá)到約 10 dB 的 SDR；隨后基于深度學(xué)習(xí)的端到端模型（如 Conv-TasNet）將性能推升到 12 dB 以上；最近兩三年的先進(jìn)架構(gòu)（如 SepFormer、DPRNN 系列、雙路 Transformer 等）更是將 SDR 提升到 20 dB 左右，接近定量評(píng)測(cè)所能達(dá)到的上限。這些結(jié)果直觀證明了架構(gòu)創(chuàng)新和訓(xùn)練范式改進(jìn)對(duì)分離效果的巨大推動(dòng)作用。

不僅如此，綜述還比較了模型在不同數(shù)據(jù)集上的表現(xiàn)差異：例如在含噪聲混響的 WHAM! 和 WHAMR! 上，模型性能相對(duì)無(wú)噪條件下降明顯，說(shuō)明噪聲魯棒性仍是挑戰(zhàn)；這種多維度的結(jié)果對(duì)比幫助讀者了解各類方法的優(yōu)勢(shì)和局限：有的模型在干凈近場(chǎng)語(yǔ)音下接近完美，但在遠(yuǎn)場(chǎng)或噪聲場(chǎng)景下性能下滑；有的方法擅長(zhǎng)分離兩三人對(duì)話，但擴(kuò)展到更多說(shuō)話人時(shí)代價(jià)巨大。通過(guò)統(tǒng)一的結(jié)果匯總與分析，作者提供了對(duì)當(dāng)前最先進(jìn)技術(shù)水平的客觀評(píng)估，并據(jù)此指出了亟待攻克的薄弱環(huán)節(jié)。

圖 4 語(yǔ)音分離模型在 WSJ0-2mix 上隨時(shí)間的變化表現(xiàn)

工具平臺(tái)

為了推動(dòng)研究復(fù)現(xiàn)和應(yīng)用落地，綜述還介紹了當(dāng)前常用的開源工具和平臺(tái)，這些軟件庫(kù)為語(yǔ)音分離任務(wù)提供了便利的開發(fā)接口和訓(xùn)練框架。對(duì)比了各工具的功能側(cè)重點(diǎn)，例如有的注重學(xué)術(shù)研究易用性，有的側(cè)重工業(yè)優(yōu)化和實(shí)時(shí)性能，也指出了當(dāng)前工具鏈存在的局限，如對(duì)最新算法的支持仍需跟進(jìn)等。通過(guò)了解這些平臺(tái)，研發(fā)人員可以更高效地復(fù)現(xiàn)論文結(jié)果、搭建原型系統(tǒng)，加速?gòu)难芯康綉?yīng)用的轉(zhuǎn)化。

表 4 不同開源工具的對(duì)比

挑戰(zhàn)與探索

在對(duì)現(xiàn)狀全面總結(jié)的基礎(chǔ)上，深入討論了語(yǔ)音分離領(lǐng)域當(dāng)前存在的熱點(diǎn)難題和未來(lái)可能的探索方向。

首先，長(zhǎng)時(shí)段音頻處理，在實(shí)際應(yīng)用中（如會(huì)議記錄、連續(xù)對(duì)話）需要處理數(shù)分鐘甚至更長(zhǎng)的音頻，如何在保證分離連續(xù)性的同時(shí)控制模型復(fù)雜度和內(nèi)存開銷。

其次，移動(dòng)端和嵌入式應(yīng)用要求分離模型具備較小的參數(shù)量和計(jì)算量，因此研究者正探索剪枝、量化、知識(shí)蒸餾以及新的高效架構(gòu)（如高效卷積、高效自注意力等）來(lái)減小模型體積，同時(shí)維持性能。

第三，因果（實(shí)時(shí)）語(yǔ)音分離也是熱點(diǎn)之一：實(shí)時(shí)通信和在線處理要求算法只能利用當(dāng)前及過(guò)去幀的信息，不能窺視未來(lái)，這對(duì)模型的延時(shí)、緩存機(jī)制提出嚴(yán)格要求。如何在嚴(yán)格的因果約束下仍然取得接近離線模型的分離效果。

第四，生成式方法的崛起為語(yǔ)音分離提供了新思路：包括生成對(duì)抗網(wǎng)絡(luò)（GAN）和擴(kuò)散模型在內(nèi)的新型生成模型開始用于語(yǔ)音分離，以期生成更逼真的語(yǔ)音并改善分離質(zhì)量，尤其在弱監(jiān)督或無(wú)監(jiān)督場(chǎng)景下展示出潛力。

第五，預(yù)訓(xùn)練技術(shù)正逐步引入本領(lǐng)域：借鑒 ASR 等領(lǐng)域的成功，大規(guī)模自監(jiān)督預(yù)訓(xùn)練（如 wav2vec 2.0 等）或基于音頻編碼器的預(yù)訓(xùn)練模型可以提供強(qiáng)大的通用特征，在低資源分離任務(wù)上顯著提升性能。未來(lái)可能出現(xiàn)專門針對(duì)語(yǔ)音分離預(yù)訓(xùn)練的模型或利用語(yǔ)音神經(jīng)編碼器壓縮感知混合信號(hào)的新范式。

第六，目標(biāo)說(shuō)話人提取作為語(yǔ)音分離的變種也備受關(guān)注：即利用已知的目標(biāo)說(shuō)話人特征（如說(shuō)話人注冊(cè)音頻）從混合中提取該說(shuō)話人的語(yǔ)音，相比盲分離加入了先驗(yàn)信息，如何高效利用目標(biāo)說(shuō)話人嵌入并與分離網(wǎng)絡(luò)融合是研究重點(diǎn)。最后，綜述強(qiáng)調(diào)了與其他任務(wù)的聯(lián)合建模趨勢(shì)：語(yǔ)音分離正日益與語(yǔ)音識(shí)別、說(shuō)話人識(shí)別 / 分離、語(yǔ)音增強(qiáng)等任務(wù)結(jié)合，形成端到端的聯(lián)合優(yōu)化框架。