本項(xiàng)目測(cè)試參考歌聲，歌詞“風(fēng)吹來的砂冥冥在哭泣，難道早就預(yù)言了分離”：

3_gt

夕小瑤科技說

12秒

提示詞“I want to listen to a song with a man voice.”生成的歌聲：

轉(zhuǎn)換男聲

夕小瑤科技說

12秒

提示詞“I'm in the mood for a song performed by a madam artist.”生成的歌聲：

轉(zhuǎn)換女聲

夕小瑤科技說

12秒

引言：自然語言指令在歌聲合成中的新突破

在數(shù)字音頻技術(shù)的發(fā)展歷程中，歌聲合成（Singing Voice Synthesis, SVS）一直是一個(gè)充滿挑戰(zhàn)的領(lǐng)域。隨著深度學(xué)習(xí)的興起，SVS系統(tǒng)已經(jīng)能夠生成高保真度的歌聲，為音樂創(chuàng)作和娛樂產(chǎn)業(yè)的發(fā)展提供了新的動(dòng)力。然而，盡管現(xiàn)有的SVS方法在音頻質(zhì)量和自然度上取得了顯著進(jìn)步，它們通常缺乏對(duì)合成歌聲風(fēng)格屬性的明確控制能力。這些風(fēng)格屬性包括說話者音色、聲音范圍和能量等。為了解決這一問題，研究者們開始探索使用自然語言指令作為風(fēng)格提示，以期實(shí)現(xiàn)對(duì)合成歌聲的精確控制。

自然語言指令的使用不僅可以實(shí)現(xiàn)對(duì)特定屬性的精確控制，還可以簡化用戶交互，為非計(jì)算機(jī)專業(yè)用戶如音樂家和視頻創(chuàng)作者帶來便利。然而，將自然語言風(fēng)格提示應(yīng)用于SVS面臨著多個(gè)挑戰(zhàn)，包括旋律與聲音范圍的解耦、文本表示的選擇以及數(shù)據(jù)稀缺性等問題。本文將介紹一種新的SVS方法——Prompt-Singer，它是首個(gè)能夠利用自然語言提示來控制歌手性別、聲音范圍和音量的SVS方法。

論文標(biāo)題:
Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt

論文鏈接:
???https://arxiv.org/pdf/2403.11780.pdf??

項(xiàng)目鏈接:
???http://prompt-singer.github.io??

Prompt-Singer模型簡介：自然語言驅(qū)動(dòng)的歌聲合成方法

1. 模型的設(shè)計(jì)理念與目標(biāo)

Prompt-Singer模型的設(shè)計(jì)理念是通過自然語言指令作為風(fēng)格提示來控制合成歌聲的風(fēng)格屬性，這不僅可以對(duì)特定屬性進(jìn)行精確控制，還可以簡化用戶交互，為非專業(yè)用戶如音樂家和視頻創(chuàng)作者帶來便利。該模型采用基于解碼器的Transformer架構(gòu)，具有多尺度層次結(jié)構(gòu)，并設(shè)計(jì)了一個(gè)旋律解耦的音高表示方法，使得在保持旋律準(zhǔn)確性的同時(shí)，能夠?qū)崿F(xiàn)文本條件下的聲音范圍控制。

2. 解決既有SVS方法的局限性

現(xiàn)有的SVS方法雖然在音頻質(zhì)量和自然性方面取得了顯著進(jìn)展，但它們?nèi)狈γ鞔_控制合成歌聲風(fēng)格屬性的能力。Prompt-Singer模型通過自然語言提示來控制合成歌聲的風(fēng)格屬性，如歌手音色、聲音范圍和能量，解決了現(xiàn)有方法的局限性。例如，現(xiàn)有的SVS數(shù)據(jù)中的音高注釋與特定歌手在特定聲音范圍內(nèi)的表現(xiàn)相綁定，這種耦合性質(zhì)使得生成與提示相符且旋律準(zhǔn)確的歌聲變得具有挑戰(zhàn)性。Prompt-Singer通過設(shè)計(jì)解耦的音高表示和引入語音數(shù)據(jù)來緩解數(shù)據(jù)稀缺問題，從而提高了模型對(duì)風(fēng)格屬性的控制能力和音頻質(zhì)量。

Prompt的設(shè)計(jì)與獲取

Prompt（自然語言提示）是Prompt-Singer模型的核心要素，由于沒有現(xiàn)成的數(shù)據(jù)集可用，因此研究者們利用了正常的SVS數(shù)據(jù)集，并設(shè)計(jì)了一種方法來為每個(gè)數(shù)據(jù)項(xiàng)生成提示句子。這個(gè)過程主要包括屬性分類、關(guān)鍵詞與模板生成、提示詞組裝三個(gè)階段。

1. 屬性分類根據(jù)音頻特征將音頻樣本分配到預(yù)定義的性別、音量和音域類別中（下圖）。

2. 關(guān)鍵詞與模板生成利用大語言模型為每個(gè)類別生成相關(guān)關(guān)鍵詞，并創(chuàng)建可插入關(guān)鍵詞的提示句子模板（下圖）。

3. 提示句子組裝在訓(xùn)練時(shí)，結(jié)合樣本的屬性標(biāo)簽和預(yù)生成的關(guān)鍵詞與模板，動(dòng)態(tài)構(gòu)建用于模型輸入的自然語言提示（下圖）。

自然語言提示合成歌聲的挑戰(zhàn)與解決方案

1. 旋律與聲域的解耦難題

在現(xiàn)實(shí)生活中，不同的歌手可能會(huì)以不同的聲域演唱同一首歌曲。例如，一位年長的男士和一個(gè)小女孩可能會(huì)在不同的聲域內(nèi)唱相同的歌。然而，SVS數(shù)據(jù)中的音高注釋通常與特定歌手的特定聲域綁定。這種耦合性質(zhì)使得生成與提示相符的、具有一致聲域和音色的歌聲以及與給定音高音符對(duì)齊的準(zhǔn)確旋律變得具有挑戰(zhàn)性。為了解決這一問題，Prompt-Singer模型采用了一種解耦的音高表示方法，通過引入聲域因子和獨(dú)立于歌手的旋律序列，實(shí)現(xiàn)了在保持旋律準(zhǔn)確性的同時(shí)對(duì)聲域進(jìn)行控制。

2. 文本表示的選擇與優(yōu)化

盡管一些研究嘗試將文本表示與音樂、語音和一般音頻概念聯(lián)系起來，但目前還沒有專門為歌唱風(fēng)格描述定制的文本表示，優(yōu)化提示表示的選擇對(duì)于任務(wù)來說仍是未知的。Prompt-Singer模型探索了不同類型的文本編碼器，包括BERT、FLAN-T5和CLAP，并對(duì)編碼器進(jìn)行了微調(diào)，以尋找最佳的文本表示。

3. 數(shù)據(jù)稀缺性的應(yīng)對(duì)策略

由于需要細(xì)粒度的注釋，現(xiàn)有的SVS數(shù)據(jù)集規(guī)模較小，通常只包含幾小時(shí)或幾十小時(shí)的歌唱數(shù)據(jù)。這不僅限制了數(shù)據(jù)的多樣性，而且增加了學(xué)習(xí)自然語言描述與數(shù)據(jù)分布之間關(guān)聯(lián)的難度。為了緩解數(shù)據(jù)稀缺性，Prompt-Singer模型引入了語音數(shù)據(jù)，通過使用與SVS數(shù)據(jù)相同格式的TTS數(shù)據(jù)，增加了訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性。

本項(xiàng)目測(cè)試參考歌聲，歌詞“快樂時(shí)你不用分心想起我，難過時(shí)請(qǐng)一定記得聯(lián)絡(luò)我”：

0_gt

夕小瑤科技說

12秒

提示詞“Would you give me a song sung by a male vocalist?”生成的歌聲：

0_male

夕小瑤科技說

12秒

提示詞“I'm looking for a song with a woman singer.”生成的歌聲：

0_female

夕小瑤科技說

12秒

Prompt-Singer模型架構(gòu)詳解

1. 多尺度Transformer的作用與結(jié)構(gòu)

Prompt-Singer模型的整體架構(gòu)如下圖所示。它主要由兩個(gè)子模塊組成：1）多尺度Transformer，它根據(jù)自然語言提示、帶有時(shí)長的歌詞和音高信息的輸入生成離散的聲學(xué)單元；2）單元聲碼器（Unit Vocoder），它將生成的聲學(xué)單元映射到音頻波形上。

多尺度Transformer的層次結(jié)構(gòu)，由全局和局部Transformer組成（下圖），它們都是基于解碼器的Transformer。全局Transformer負(fù)責(zé)建模不同幀之間的關(guān)聯(lián)，而局部Transformer則在幀內(nèi)自回歸預(yù)測(cè)不同碼本的聲學(xué)單元。這種多尺度結(jié)構(gòu)有助于模型處理長序列，并在不同模態(tài)之間建立內(nèi)在關(guān)系。

2. 聲音表示與文本表示的處理

在聲音表示方面，Prompt-Singer模型使用SoundStream生成的離散聲學(xué)單元作為Transformer的預(yù)測(cè)目標(biāo)。文本輸入包括兩部分：歌詞和自然語言提示。歌詞通過查找表嵌入并輸入到Transformer中，而自然語言提示則使用凍結(jié)參數(shù)的文本編碼器提取語義表示，并通過線性層映射其維度以適應(yīng)Transformer。

3. 解耦音高表示的創(chuàng)新設(shè)計(jì)

Prompt-Singer模型基于等溫定律理論，將F0分解為兩個(gè)組成部分：平均F0值（表示聲域）和調(diào)整后的F0序列（表示旋律信息）。這種簡單而有效的表示方法創(chuàng)建了信息瓶頸，迫使模型從調(diào)整后的F0序列和平均F0因子中提取旋律和聲域信息。

4. 利用語音數(shù)據(jù)緩解數(shù)據(jù)稀缺

為了緩解數(shù)據(jù)稀缺性，模型結(jié)合了TTS數(shù)據(jù)進(jìn)行訓(xùn)練，以增加訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性。此外，模型還探索了在低資源情況下用語音數(shù)據(jù)替代歌唱數(shù)據(jù)的可行性，并在不同量級(jí)的低資源SVS數(shù)據(jù)與大量TTS數(shù)據(jù)的組合下評(píng)估了模型性能。

實(shí)驗(yàn)設(shè)置與評(píng)價(jià)指標(biāo)：歌聲合成模型的多數(shù)據(jù)集融合與性能評(píng)估

1. 數(shù)據(jù)集的選擇與組合

為了控制合成歌聲的風(fēng)格屬性，我們選擇了M4Singer、Opencpop、Opensinger和PopCS四個(gè)SVS數(shù)據(jù)集，共計(jì)127小時(shí)的多歌手歌唱數(shù)據(jù)。同時(shí)，我們還利用了AISHELL-3、Biaobei、THCHS-30和DidiSpeech等四個(gè)普通話TTS語料庫，總計(jì)約179小時(shí)的語音數(shù)據(jù)（下表）。這些數(shù)據(jù)集的選擇旨在增加訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性，從而提高模型的泛化能力和風(fēng)格控制的準(zhǔn)確性。

2. 模型配置與訓(xùn)練細(xì)節(jié)

我們采用了基于解碼器的多尺度Transformer架構(gòu)，并設(shè)計(jì)了一種音高解耦表示法，這使得模型在保持旋律準(zhǔn)確性的同時(shí)，能夠通過文本條件控制聲音范圍。如下表所示，全局Transformer有20層，參數(shù)量為320M；局部Transformer有6層，參數(shù)量為100M。我們使用SoundStream模型生成的離散聲學(xué)單元作為Transformer的預(yù)測(cè)目標(biāo)，并通過一個(gè)基于GAN的單元聲碼器將生成的聲學(xué)單元映射到高保真的音頻波形。

3. 客觀與主觀評(píng)價(jià)指標(biāo)的應(yīng)用

我們采用了客觀和主觀的評(píng)價(jià)指標(biāo)來評(píng)估模型的控制能力和歌聲質(zhì)量。客觀指標(biāo)包括每個(gè)屬性的準(zhǔn)確性百分比，其中性別分類器用于性別屬性的評(píng)估，振幅RMS和平均F0用于評(píng)估音量和音域。我們還計(jì)算了R-FFE（調(diào)整音域后的F0幀誤差）來衡量旋律準(zhǔn)確性。對(duì)于主觀指標(biāo)，我們通過亞馬遜Mechanical Turk進(jìn)行人群外包評(píng)估，評(píng)估者需要根據(jù)1-5的Likert量表對(duì)歌聲質(zhì)量和與提示的相關(guān)性進(jìn)行評(píng)分，并報(bào)告平均意見得分（MOS）和相關(guān)性（RMOS）（下面兩圖分別是MOS和RMOS的評(píng)分界面）。通過這些綜合評(píng)價(jià)，我們可以全面了解模型的性能表現(xiàn)。

實(shí)驗(yàn)結(jié)果與分析：文本編碼與語音數(shù)據(jù)在歌聲合成模型中的作用與表現(xiàn)

1. 不同文本表示對(duì)控制能力的影響

實(shí)驗(yàn)結(jié)果表明，經(jīng)過微調(diào)的文本編碼器在控制準(zhǔn)確性上有顯著提高，尤其是FLAN-T5 large和BERT-large模型（下表）。這表明將文本表示與更簡單的分布對(duì)齊有助于模型學(xué)習(xí)提示和歌唱風(fēng)格之間的相關(guān)性。此外，不同類型的文本編碼器在不同屬性的控制能力上表現(xiàn)不同，這可能與模型的預(yù)訓(xùn)練方法和數(shù)據(jù)有關(guān)。

2. 語音數(shù)據(jù)在低資源情景下的作用

如下表所示，在低資源情景下，引入語音數(shù)據(jù)可以顯著提高控制準(zhǔn)確性和生成質(zhì)量，但對(duì)旋律準(zhǔn)確性有輕微的負(fù)面影響。隨著SVS數(shù)據(jù)量的減少，歌聲質(zhì)量和旋律準(zhǔn)確性急劇下降，而音量和音域的準(zhǔn)確性變化相對(duì)平緩。這表明，盡管語音數(shù)據(jù)有助于提高控制準(zhǔn)確性和音頻質(zhì)量，但仍然需要足夠量的歌唱數(shù)據(jù)來確保合成質(zhì)量和旋律準(zhǔn)確性。

3. 模型在多屬性提示下的表現(xiàn)

如下表所示，我們的模型在單屬性和多屬性提示下都表現(xiàn)出了良好的性能。隨著屬性數(shù)量的增加，準(zhǔn)確性和與提示的相關(guān)性有輕微下降，這表明多屬性條件下聲學(xué)風(fēng)格的條件分布更復(fù)雜，模型化難度增加。盡管如此，我們的模型在處理單個(gè)和多個(gè)屬性的提示時(shí)仍然展現(xiàn)出了良好的性能。

討論與總結(jié)：合成歌聲的創(chuàng)新與挑戰(zhàn)

1. 模型的優(yōu)勢(shì)與局限性

Prompt-Singer模型通過自然語言提示來控制合成歌聲的風(fēng)格，這種方法在控制特定屬性方面具有明顯的優(yōu)勢(shì)，同時(shí)簡化了用戶交互，方便非專業(yè)用戶使用。模型采用基于解碼器的Transformer架構(gòu)，并設(shè)計(jì)了一種旋律與音域解耦的音高表示，使得在保持旋律準(zhǔn)確性的同時(shí)，能夠通過文本條件控制音域。

模型的局限性在于：面臨解耦旋律與音域、選擇文本表示、數(shù)據(jù)稀缺等挑戰(zhàn)；因使用大語言模型和自回歸生成導(dǎo)致高計(jì)算成本和推理延遲；提示文本的生成流程簡單且僵化，可能產(chǎn)生語法錯(cuò)誤和表達(dá)偏差。

2. 對(duì)未來研究方向的展望

未來的研究可以在多個(gè)方向上進(jìn)行拓展。首先，可以引入更多的風(fēng)格屬性，如情感、節(jié)奏和更詳細(xì)的歌手信息，以進(jìn)一步提高合成歌聲的多樣性和個(gè)性化。其次，可以探索更高效的模型架構(gòu)和生成范式，以減少計(jì)算開銷并提高推理效率。此外，改進(jìn)提示文本的生成流程，提高其準(zhǔn)確性和表達(dá)力，也是未來研究的一個(gè)重要方向。

本文轉(zhuǎn)載自夕小瑤科技說，作者：Tscom

原文鏈接：??https://mp.weixin.qq.com/s/kkSJsNTyiGQAvnE2OaCwxQ??