2022年8月，一幅名為《太空歌劇院》的數字畫作獲得冠軍同時引發了巨大爭議，AIGC（AI產生內容：AI-Generated Content）出圈的事件便頻頻出現在大眾視野。同年11月30日OpenAI發布的聊天機器人模型ChatGPT免費開放，更掀起了人們對AIGC的廣泛興趣，各種花式問題，例如改代碼，談學問、問人生……ChatGPT的“機智”與“博學”令人刮目相看并耳目一新。

ChatGPT之所以引起了廣泛關注，在于OpenAI 先后發布了三代GPT模型，每一代模型參數量都比前一代增長了10倍甚至100倍，進入GPT-3.5代的模型則是采用了RLHF（從人類反饋強化學習）方式，能夠更好地理解人類語言的含義，即與人類在聊天、文章撰寫、解答詢問、代碼查錯等互動時更像一個經過“認真思考”慎重給出答案的“人”。

面對圈內如此熱點，在火山語音音頻合成算法研究員Stephen看來：“之所以AIGC近期表現大熱，與AI生產的內容質量階梯式提升密不可分。AI作為生產工具觸發了更高的效率，AIGC則包含了文本生成、音頻生成、圖像生成和視頻生成等諸多方向，也會反過來刺激其背后的人工智能技術快速發展，逐漸體現出極大的商業價值。”

聲情并茂與能說會演 成為AI語音的主要難點

我們經常會感慨，AI作畫讓你領略的是AI的“想象力”， 以ChatGPT為代表的AI問答則讓你因為其博學與答案的“可讀性”而震驚，而AI語音則考驗的是TA能否像真人一樣對內容正確理解后，通過匹配人設的音色以及符合當時情景的語氣表達出來，這一點在火山語音（字節跳動AI Lab 智能語音與音頻團隊）與番茄小說的合作中屢見不鮮，AI算法生成的語音可以讓你直接去聽任何文字版的小說，而且聽起來“更聰明一點”：差異化的音色配合恰當的語氣，在朗讀時化身“戲精”演繹出“喜怒哀樂”。

據了解，要讓AI聲情并茂與能說會演，首先需要確保輸出內容不讀錯，這就需要文本分析模型來進行解析。“在番茄小說中，文本分析前端我們采用了 NLP 領域應用廣泛的 Transformer 架構模型 BERT。主要通過神經網絡加規則混合的正則化模型（TN）和多任務前端模型，結合長期的人工規則修正，不斷提升前端的句級別精度，并通過蒸餾、量化等技術降低了算力需求。”

此外為了讓語音聽感更佳，團隊還基于常規 TTS 流程加入了更多功能模塊，實現了角色歸屬與情感控制。例如在角色歸屬中同樣采用了 BERT結構，進行對話判定和指代消歧兩個任務的建模，另外也采用了類似的結構進行情感預測。“通常小說文字中會出現多人對話，每個說話人又有屬于自己的多種情感，如果可以將音色和情感進行解耦，就可以更好地控制合成語音的表現力，實現不同音色與不同情感的靈活組合，這個很關鍵。”

重要的一點，為了讓AI能夠理解各種類型小說的文本，火山語音還率先提出了“AI 文本理解”模型，即一套多任務的長文本理解AI系統。能夠自動化地從小說文本中區分出對話的角色、判別出對話中所想要表達出的情感、預測出合理的句間停頓，極大地提升了精品 AI 有聲書的制作效率，有效突破了人工標注的生產瓶頸。

“Al文本理解”模型

更進一步，火山語音團隊在滿足發音清晰、韻律連貫、語調起伏的基礎上，自研半監督學習的端到端風格控制聲學模型，使聲音遵循普魯契克情感色輪（Plutchik's Wheel of Emotions）的情感類型，表現出開心、悲傷、驚訝、恐懼等多種情感色彩，以情感遷移的方式，讓原本沒有情感的發音獲得多情感合成的效果。更好表達“以聲傳情”，將人類語言中常會出現的「副語言」現象進行了精細化的建模還原，實現了在有聲書中常見的重音停頓、疑問反問、笑聲哭腔、以及各類嘆息、叫喊聲等，達成了文本內容的精彩演繹。

“接近真人播講的效果，使最終的AI語音能夠體現出不同角色在不同上下文環境里的效果，是我們一直以來追求的目標。未來，我們更希望可以做到，通過文本-語音聯合訓練大模型，對不同上下文環境的文本提取表征，提升角色判別成功率；憑借多話者語音合成大模型，對情感、風格、音色和口音等屬性進行解耦并能夠自由遷移；同時根據文本描述生成匹配的背景音來提升有聲書聆聽時的代入感。”

提高內容質量和產生效率才是AIGC的核心價值

在更多實踐中我們發現，除了文字和圖像，人們對語音交互的應用范圍更廣，例如，人們在家中經常通過語音交互發出指令控制各種電器；出行時通過車載語音助手完成導航、預定餐廳等事項；以及在辦公場景中高頻率使用的會議助手等，都離不開智能語音方案來提高內容質量和生產效率。

對此火山語音團隊也隨之進行了更多相關的創新性嘗試，例如在短視頻成為全民時尚的今天，面對UGC群體視頻創作的隨性記錄以及音頻質量不可控等現實因素，通過火山語音智能字幕解決方案為視頻創作自動添加字幕，不僅可以兼容識別中、英、粵等常用的語言和方言，還能對歌曲進行識別。

對此火山語音音頻理解方向產品經理W補充道：“視頻內容生產中，傳統加字幕的方式需要創作者對視頻進行數次聽寫并校對，還需要根據起始時間逐幀對齊，經常10分鐘的視頻需要幾小時的后期制作時間才能完成。此外字幕組還要精通多語言并熟悉字幕文件的制作，整體下來視頻制作成本很高，這對于當今短視頻時代的個人創作者或是單純以記錄生活的用戶來說早已高不可及。”

為了降低創作門檻，讓所有創作者都能輕松制作高質量的視頻內容，記錄美好生活，火山語音自研推出了智能字幕解決方案。不僅能夠高效識別方言與歌曲，還可以對語種混合以及說話唱歌混合的場景有很好的識別效果；此外還可通過對用戶創作內容的音頻特性以及領域分析，憑借算法優化，大大提升語音識別對于噪聲場景、多人說話等復雜場景的表現。尤其面對移動端用戶針對功能響應時間的較高要求，即希望字幕可以既快且準，對此火山語音做了大量的工程優化和策略，1分鐘的視頻只需2-3秒即可完成。

 眾所周知，面對相同的內容，人類對于音頻信息的獲取效率遠低于文本信息的獲取效率，而將語音轉化成文本被記錄與使用的關鍵在于語音識別，例如火山語音推出的“千言轉文字，一字勝千言”的實時字幕解決方案就是通過“語音識別+語音翻譯”的AI鏈路，讓跨國家、跨語言交流變得更加流暢；通過自動生成會議記錄與紀要，做到大大提升與會者的工作效率，大幅減少會后整理和會中記錄的工作量。可以預見伴隨科技的迅速發展，AI語音會為人機交互增加信息輸出的渠道，為信息獲取提升效率。

同樣面對AIGC帶來質量以及效率的提升問題，在火山語音語音交互產品經理Y看來，AIGC確實有望在智能語音交互的輔助場景中落地，可以實現包括會話摘要、話術推薦、情緒安撫、工單摘要等方向的客服功能，輔助解決方案來提高生產效率。舉個例子，在人機對話觸發轉人工時，可自動生成人機對話的對話摘要，輔助人工更快了解用戶訴求，避免出現突然冷場去翻查聊天記錄的情況；在與人對話過程中，通過對用戶話術的理解，運用AIGC能力來生成答案供客服參考，提高了客服對話的效率。

“此外在異常情況處理方面也可發揮作用，比方說用戶出現煩躁、憤怒等情緒時，AICG或可自動生成安撫話術供客服參考，提升服務滿意度等。未來，伴隨多模態技術和AIGC技術的不斷成熟，或許通過虛擬數字人可取代部分人工，以人機共生的形態直接服務客戶，更顯著降低人力成本，提升服務效率。”但他也明確表示，如今的AIGC還無法做到真正獨立生產內容，尚處于輔助人類提升內容生產效率的階段。

成本、版權、實用性仍是AIGC發展的瓶頸

不論是ChatGPT給出的驚人回答，還是番茄小說中AI演繹出了感人聲音，就連馬斯克也驚嘆：我們離強大到危險的人工智能不遠了。這似乎預示著AIGC的時代即將來臨。

然而在AI算法一線工作多年的火山語音音頻合成算法研究員Stephen卻有著更為清醒的判斷，他指出：“AIGC背后的技術，未來可能會進行多模態融合，不僅僅是單一模態的生成式任務，這就像人類在創造內容的過程中也不僅僅是根據單一形態的知識而構思出新內容。舉個例子，就像生成交互式數字人的任務中，目前主要是人臉、表情、姿態和動作的單獨預測，未來或將用一個生成式模型預測這些特征，提升各特征之間的協同效果，降低分別錄制帶來的工作量；此外也會根據多模態理解任務得到的表征，基于正在對話的用戶的表情、語氣和肢體動作，在生成的形象和聲音上給予對應的反饋。”

除了技術發展的預測，不容忽視的一點，目前AIGC在成本、版權和實用性上仍存在巨大挑戰。他認為目前AIGC成本居高不下，很顯著的表現是高質量文本、圖片和視頻生成技術等，都對應著大量訓練和推理階段硬件資源的消耗，這導致高校和研究機構均很難參與其中，不利于行業發展的推動。

“此外在版權保護上，目前生成的內容有些可能會被用來進行非法活動，因此在內容中加入版權保護，例如圖像和音頻水印變得越來越重要，但是在加入過程中，還得考慮不要因為剪切、混合等后處理方式導致水印失效。”

過去的2022年，盡管在圖片和視頻生成方向的技術應用效果顯著提升，但依然需要大量人工篩選后，內容才能實際落地；而基于長篇章文本生成上下文相關的漫畫和視頻，既要保證場景的連續性，又要能體現人物的變化，還有大量的技術難題需要解決，避免人工智能變成“人工智障”是個挑戰，所以實用性還有更多的提升空間。

我們或許可以這樣認為，AIGC作為一種新型的內容生產方式，之所以受到關注，充分說明了各行各業對于內容的渴望，尤其是互聯網平臺，如何高效理解、創作、互動和分發內容，確實給現今的AI 技術帶來了機遇和挑戰。