01、概述

在當今的AI語音合成領域中，多語言處理、自然語音輸出和實時響應一直是語音生成系統的痛點。盡管已有如VALL-E和Fastspeech等語音合成系統的廣泛應用，但這些傳統的文本到語音（TTS）模型仍面臨一些根本性挑戰：包括語言之間復雜的多音詞、多語言轉換，以及語音自然度的不足。尤其是在面對需要多語言處理和自然聲音克隆的應用場景時，傳統的TTS模型難以滿足用戶的高要求。

為了解決這些長期困擾語音合成系統的難題，Fish Audio團隊推出了全新突破性產品——Fish Agent v0.1 3B。這款語音到語音模型（Voice-to-Voice Model）基于創新的Fish-Speech框架，采用**雙自回歸（Dual Autoregressive, Dual-AR）**架構和Firefly-GAN（FF-GAN）技術，不僅在合成速度和多語言處理能力上取得重大進展，還成功克服了傳統系統在多語言與多音調處理方面的不足。Fish Agent的誕生，標志著語音合成技術的里程碑式進步。

02、傳統語音合成系統的瓶頸

當前的語音合成系統普遍采用G2P（字形到音素）轉換，通過將文本轉換為音素，再合成語音。然而這種方法在處理跨語言、多音字和自然語音生成時表現不佳，容易導致語音質量不穩定。尤其在多語言環境中，由于語言發音規則各異，傳統的G2P轉換難以全面解析和處理，從而限制了TTS系統在多語言環境下的表現。

此外，傳統TTS系統難以處理情境依賴的多音字和跨語言的語音生成，而這些問題在現實的AI應用中極為普遍，例如在需要跨語言對話的智能助手或在多語言無障礙工具中應用時，語音系統會面臨復雜的語言混合和上下文依賴，影響了用戶體驗和語音質量。

03、Fish Agent v0.1 3B：重新定義語音合成的技術架構

Fish Agent v0.1 3B突破了傳統G2P方法的限制。Fish Audio團隊通過搭建雙自回歸（Dual-AR）架構，結合新型的**Firefly-GAN（FF-GAN）解碼器，重新設計了語音生成流程。這款模型采用了大語言模型（LLM）**直接提取文本的語言特征，而不依賴G2P轉換，從而簡化了合成流程并提升了多語言處理的效率。

(1) 雙自回歸架構：Slow & Fast Transformer 協同工作

Fish Agent v0.1 3B的Dual-AR架構包括一個慢速Transformer和一個快速Transformer：

• Slow Transformer：負責解析文本中的全局語言結構，捕捉句子和語段中的復雜語言邏輯。
• Fast Transformer：專注于提取細節和語音的聲學特征，確保語音輸出更自然、清晰。

這種快慢結合的結構使得Fish Agent能夠快速解析并合成語言中的細微變化，例如多音字、情境語氣等，有效地改善了跨語言場景下的語音質量。

(2) Firefly-GAN解碼器：高效生成穩定語音

Firefly-GAN（FF-GAN）是Fish Agent的核心解碼器，其運用了**向量量化（Vector Quantization）技術，極大地提高了語音生成的穩定性和音質。FF-GAN對輸入進行精確的量化編碼，確保生成語音在不同語言和音調之間的切換流暢自如。同時，結合分組有限標量向量量化（Grouped Finite Scalar Vector Quantization, GFSQ）**技術，進一步優化了代碼的壓縮效率和質量，使得語音輸出不僅自然，還能夠在低延遲下完成。

04、性能數據與測試：Fish Agent v0.1 3B的優異表現

Fish Agent v0.1 3B經過大量數據集的訓練，具備了強大的泛化能力。Fish Audio團隊為其提供了72萬小時的多語言音頻數據進行訓練，使得模型在多語言背景下依然能夠保持穩定的語音質量。測試結果顯示，Fish Agent在語音合成的準確性和響應速度上均大幅領先于其他系統：

• 詞錯誤率（WER）：Fish Agent的WER為6.89%，遠遠低于CosyVoice的22.20%和F5-TTS的13.98%，顯示出在不同語言和情境下的出色表現。
• 延遲：Fish Agent的延遲僅為150毫秒，這在實時對話中具備明顯優勢，適用于需要快速響應的場景。

這些數據表明，Fish Agent不僅在語音合成精度上表現出色，還能實現流暢的實時應用，進一步推動了語音AI的實際應用價值。

05、Fish Agent v0.1 3B 的實際應用前景

作為語音到語音合成技術的前沿產品，Fish Agent v0.1 3B的實際應用場景非常廣泛：

• 多語言對話助手：Fish Agent能輕松應對跨語言對話，為智能語音助手提供更自然的語音輸出，不論是英語、中文還是其他語言的切換都游刃有余。
• 無障礙應用：對于需要聽覺輔助的用戶，Fish Agent能準確捕捉并生成不同語言的語音信息，為多語言環境中的無障礙應用提供支持。
• 語音克隆和語音合成：Fish Agent在語音克隆和語音合成方面表現優異，能夠生成高度相似的用戶聲音，為個性化語音助手和語音導?航等應用提供支持。

06、未來展望：語音合成的革新與挑戰

Fish Agent v0.1 3B的推出為語音合成技術帶來了顯著的進步，其在多語言處理和語音生成的自然度方面的突破，為語音合成的未來發展奠定了基礎。然而，隨著AI語音合成技術的快速發展，未來的挑戰也不容忽視。例如，為滿足更多語種和方言的處理需求，未來模型將需要更強的語義理解和更精細的語音合成能力。

Fish Audio團隊表示，未來將進一步優化模型的架構，使其更具擴展性，同時繼續加大在多語種訓練數據上的投入，以期進一步提升Fish Agent的跨語言處理性能。

07、結語

Fish Agent v0.1 3B的發布，無疑為多語言語音合成開創了新天地。這款創新的語音到語音合成模型，通過Dual-AR架構和Firefly-GAN解碼器的結合，成功解決了傳統TTS系統的多語言處理和語音自然度問題。其卓越的性能與廣闊的應用前景，將推動AI驅動的語音技術邁向更高層次的發展。

參考：

1. ??https://github.com/fishaudio/fish-speech??

本文轉載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/KhyBowW5uS-w7Zjs_vBLUA??