AI語音革命新紀(jì)元：Sesame模型讓聊天AI“活”出表情包式情緒聲線

作者：朱先忠 2025-04-25 08:19:05

本文旨在探討新式Sesame語音模型運(yùn)行原理，該模型通過殘差量化壓縮音頻并使用雙轉(zhuǎn)換器自回歸預(yù)測(cè)碼字以生成逼真的語音。

譯者 | 朱先忠

審校 | 重樓

Sesame使用一種名為殘差向量量化的深度學(xué)習(xí)技術(shù)對(duì)語音進(jìn)行編碼

最近，Sesame人工智能公司發(fā)布了他們最新的語音轉(zhuǎn)語音（Speech-to-Speech）模型的演示。這是一個(gè)非常擅長(zhǎng)說話的對(duì)話式人工智能代理，它們能夠提供相關(guān)的答案，并帶有表情地說話，而且說實(shí)話，它們非常有趣，互動(dòng)性很強(qiáng)。

請(qǐng)注意，有關(guān)這方面的系統(tǒng)的技術(shù)論文尚未發(fā)布，但他們確實(shí)發(fā)布了一篇簡(jiǎn)短的博客文章，并提供了有關(guān)他們使用的技術(shù)和他們所構(gòu)建的先前算法的大量信息。

謝天謝地，他們提供了足夠的信息，讓我能夠撰寫這篇文章并制作一個(gè)YouTube視頻。

訓(xùn)練對(duì)話語音模型

Sesame是一個(gè)會(huì)話語音模型，簡(jiǎn)稱CSM。它輸入文本和音頻，并將語音生成音頻。雖然他們沒有在文章中透露其訓(xùn)練數(shù)據(jù)來源，但我們?nèi)匀豢梢試L試進(jìn)行可靠的猜測(cè)。上述博客文章大量引用了另一個(gè)CSM，即2024年的Moshi模型，幸運(yùn)的是，Moshi模型的創(chuàng)建者在他們的論文中透露了他們的數(shù)據(jù)來源。Moshi模型使用了700萬小時(shí)的無監(jiān)督語音數(shù)據(jù)、170小時(shí)的自然和腳本對(duì)話（用于多流訓(xùn)練）以及2000多個(gè)小時(shí)的電話對(duì)話（Fischer數(shù)據(jù)集）。

Sesame模型是建立在Moshi模型論文（2024）基礎(chǔ)上的

生成音頻到底需要什么？

原始形式的音頻只是一長(zhǎng)串振幅值 ——波形。例如，如果以24kHz的頻率采樣音頻，則每秒捕獲24,000個(gè)浮點(diǎn)值。

這里使用24000個(gè)值來表示1秒的語音！（圖片由作者生成）

當(dāng)然，處理一秒鐘的數(shù)據(jù)中的24000個(gè)浮點(diǎn)值是非常耗費(fèi)資源的，尤其是因?yàn)門ransformer的計(jì)算量會(huì)隨著序列長(zhǎng)度的平方而增長(zhǎng)。如果我們能夠壓縮這個(gè)信號(hào)并減少處理音頻所需的樣本數(shù)量，那就太好了。

后面，我們將深入探討Mimi編碼器，特別是殘差向量量化器（RVQ），它們是當(dāng)今深度學(xué)習(xí)中音頻/語音建模的支柱。文章最后，我們將介紹Sesame模型如何使用其特殊的雙轉(zhuǎn)換器架構(gòu)生成音頻。

預(yù)處理音頻

卷積在壓縮和特征提取方面大有裨益。Sesame模型使用Mimi語音編碼器來處理音頻。Mimi也曾在前面提到的Moshi論文中被介紹過。Mimi是一個(gè)自監(jiān)督音頻編解碼器模型，它首先將音頻波形轉(zhuǎn)換為離散的“潛在”標(biāo)記，然后重建原始信號(hào)。Sesame僅使用Mimi的編碼器部分來對(duì)輸入的音頻進(jìn)行標(biāo)記。讓我們來仔細(xì)了解一下這是如何操作的。

Mimi輸入24Khz的原始語音波形，并將其傳入多個(gè)步幅卷積層，對(duì)信號(hào)進(jìn)行下采樣，步幅分別為4、5、6、8和2。這意味著，第一個(gè)CNN模塊將音頻下采樣4倍，然后是5倍，再是6倍，以此類推。最終，它以1920的倍數(shù)下采樣，將幀率降至每秒12.5幀。

卷積塊還將原始浮點(diǎn)值投影到512的嵌入維度。每個(gè)嵌入聚合原始1D波形的局部特征。1秒的音頻現(xiàn)在表示為大約12個(gè)大小為512的向量。這樣，Mimi將序列長(zhǎng)度從24000減少到僅12，并將它們轉(zhuǎn)換為密集的連續(xù)向量。

在應(yīng)用任何量化之前，Mimi編碼器會(huì)將輸入的24KHz音頻下采樣1920倍，并將其嵌入到512維空間中。換句話說，每秒可以獲得12.5幀，每幀都是一個(gè)512維向量（圖片來自作者視頻）。

什么是音頻量化？

給定卷積層之后獲得的連續(xù)嵌入，我們希望對(duì)輸入語音進(jìn)行標(biāo)記化。如果我們可以將語音表示為一系列標(biāo)記，那么我們就可以應(yīng)用標(biāo)準(zhǔn)的語言學(xué)習(xí)Transformer來訓(xùn)練生成模型。

Mimi使用殘差向量量化器（RVQ分詞器）來實(shí)現(xiàn)這一點(diǎn)。我們很快會(huì)討論殘差部分，但首先，我們先來看看一個(gè)簡(jiǎn)單的vanilla向量量化器是如何做的。

向量量化

向量量化背后的想法很簡(jiǎn)單：訓(xùn)練一個(gè)碼本（codebook ），它是1000個(gè)隨機(jī)向量代碼的集合，大小均為512（與嵌入維度相同）。

一個(gè)Vanilla向量量化器。訓(xùn)練一個(gè)嵌入的碼本。給定一個(gè)輸入嵌入，我們將其映射/量化到最近的碼本條目（作者視頻截圖）

然后，給定輸入向量，我們將其映射到碼本中最近的向量——本質(zhì)上就是將一個(gè)點(diǎn)映射到其最近的聚類中心。這意味著，我們有效地創(chuàng)建了一個(gè)固定的標(biāo)記詞匯表來表示每個(gè)音頻幀，因?yàn)闊o論輸入幀的嵌入是什么，我們都將用最近的聚類質(zhì)心來表示它。

殘差向量量化

簡(jiǎn)單的向量量化的問題在于，由于我們將每個(gè)向量映射到其聚類的質(zhì)心，信息損失可能過高。這種“映射”很少是完美的，因此原始嵌入和最近的碼本之間總是存在誤差。

殘差向量量化的核心思想是，它不僅僅局限于一個(gè)碼本。相反，它嘗試使用多個(gè)碼本來表示輸入向量。

首先，使用第一個(gè)碼本量化原始向量。
然后，從原始向量中減去該質(zhì)心。剩下的就是殘差—— 即第一次量化中未捕獲的誤差。
現(xiàn)在取這個(gè)殘差，并使用充滿全新代碼向量的第二個(gè)代碼本再次對(duì)其進(jìn)行量化——再次將其捕捉到最近的質(zhì)心。
減去這個(gè)值，你會(huì)得到一個(gè)更小的殘差。用第三個(gè)碼本再次量化……你可以對(duì)任意數(shù)量的碼本重復(fù)此操作。

殘差向量量化器（RVQ）使用新的碼本和VQ層對(duì)輸入嵌入進(jìn)行分層編碼，以表示先前碼本的誤差

每一步都會(huì)逐層捕捉上一輪遺漏的細(xì)節(jié)。假設(shè)你對(duì)N個(gè)碼本重復(fù)此操作，那么你將從每個(gè)量化階段獲得一個(gè)由N個(gè)離散標(biāo)記組成的集合，用來表示一個(gè)音頻幀。

RVQ最酷的地方在于，它們被設(shè)計(jì)成在第一個(gè)量化器中具有較高的歸納偏差，傾向于捕捉最重要的內(nèi)容。在后續(xù)的量化器中，它們會(huì)學(xué)習(xí)越來越細(xì)粒度的特征。

如果您熟悉PCA，可以認(rèn)為第一個(gè)碼本包含主要主成分，用于捕獲最關(guān)鍵的信息。后續(xù)碼本代表高階成分，包含更多細(xì)節(jié)信息。

殘差向量量化器（RVQ）使用多個(gè)碼本對(duì)輸入向量進(jìn)行編碼——每個(gè)碼本一個(gè)條目（作者視頻截圖）

聲學(xué)與語義密碼本

由于Mimi是針對(duì)音頻重建任務(wù)進(jìn)行訓(xùn)練的，因此編碼器會(huì)將信號(hào)壓縮到離散化的潛在空間，而解碼器則會(huì)從潛在空間將其重建回來。在針對(duì)此任務(wù)進(jìn)行優(yōu)化時(shí)，RVQ碼本會(huì)學(xué)習(xí)在壓縮的潛在空間內(nèi)捕捉輸入音頻的基本聲學(xué)內(nèi)容。

Mimi還單獨(dú)訓(xùn)練了一個(gè)碼本（原始VQ），該碼本專注于嵌入音頻的語義內(nèi)容。正因如此，Mimi被稱為“分割RVQ分詞器”——它將量化過程劃分為兩個(gè)獨(dú)立的并行路徑：一個(gè)用于語義信息，另一個(gè)用于聲學(xué)信息。

Mimi架構(gòu)（來源：Moshi論文）許可證：免費(fèi)

為了訓(xùn)練語義表征，Mimi使用知識(shí)蒸餾技術(shù)，并使用現(xiàn)有的語音模型WavLM作為語義教師。Mimi引入了一個(gè)額外的損失函數(shù)，用于減小語義RVQ代碼與WavLM生成的嵌入之間的余弦距離。

音頻解碼器

給定一個(gè)包含文本和音頻的對(duì)話，我們首先使用文本和音頻標(biāo)記器將它們轉(zhuǎn)換為一個(gè)標(biāo)記嵌入序列。然后，該標(biāo)記序列作為時(shí)間序列輸入到轉(zhuǎn)換器模型中。在作者的博客文章中，該模型被稱為自回歸骨干轉(zhuǎn)換器（Autoregressive Backbone Transformer）。它的任務(wù)是處理該時(shí)間序列并輸出“第零個(gè)”碼本標(biāo)記。

然后，一個(gè)稱為音頻解碼器的輕量級(jí)轉(zhuǎn)換器會(huì)根據(jù)主干轉(zhuǎn)換器生成的第零個(gè)代碼，重建下一個(gè)碼本標(biāo)記。需要注意的是，由于主干轉(zhuǎn)換器能夠看到整個(gè)過去的序列，因此第零個(gè)代碼已經(jīng)包含了大量關(guān)于對(duì)話歷史的信息。輕量級(jí)音頻解碼器僅對(duì)第零個(gè)標(biāo)記進(jìn)行操作，并生成其余N-1個(gè)代碼。這些代碼由N-1個(gè)不同的線性層生成，這些線性層輸出從其對(duì)應(yīng)碼本中選擇每個(gè)代碼的概率。

你可以把這個(gè)過程想象成在純文本的LLM中根據(jù)詞匯表預(yù)測(cè)文本標(biāo)記。只不過，基于文本的LLM只有一個(gè)詞匯表，而RVQ標(biāo)記器則以N個(gè)碼本的形式擁有多個(gè)詞匯表，因此你需要訓(xùn)練一個(gè)單獨(dú)的線性層來為每個(gè)詞匯表建模碼本。

Sesame架構(gòu)

最后，所有碼字生成完成后，我們將它們聚合起來，形成組合的連續(xù)音頻嵌入。最后一步是將音頻轉(zhuǎn)換回波形。為此，我們應(yīng)用轉(zhuǎn)置卷積層將嵌入從12.5Hz升頻回kHz波形音頻。本質(zhì)上，這相當(dāng)于逆轉(zhuǎn)了我們?cè)谝纛l預(yù)處理過程中最初應(yīng)用的變換。

總結(jié)

觀看本文附帶的視頻！（作者視頻）

以下是針對(duì)Sesame模型的一些要點(diǎn)的總結(jié)：

Sesame建立在多模式對(duì)話語音模型或CSM之上。
文本和音頻一起被標(biāo)記以形成標(biāo)記序列，并輸入到主干轉(zhuǎn)換器中，該轉(zhuǎn)換器對(duì)該序列進(jìn)行自回歸處理。
雖然文本的處理方式與其他基于文本的LLM類似，但音頻的處理則直接基于其波形表示。他們使用Mimi編碼器，通過分割RVQ標(biāo)記器將波形轉(zhuǎn)換為潛在代碼。
多模態(tài)骨干變換器消耗一系列標(biāo)記并預(yù)測(cè)下一個(gè)第零個(gè)碼字。
另一個(gè)稱為音頻解碼器的輕量級(jí)轉(zhuǎn)換器根據(jù)第零個(gè)代碼字預(yù)測(cè)下一個(gè)代碼字。
最終的音頻幀表示是通過組合所有生成的碼字并上采樣回波形表示而生成的。