大模型應用于數字人
原創大模型會改變整個軟件行業， 其中具有代表性的產品之一是數字人， 那么，什么是數字人呢？數字人涉及了哪些關鍵技術呢？大模型對數字人的發展帶來哪些影響呢？
1. 什么數字人？
數字人目前還缺乏一個相對統一的定義， 有人把人類的數字孿生體定義為數字人，有人把虛擬世界中具有人類行為的實體定義為數字人，有人將3D人體模型稱為數字人，例如，韓國學界對數字人的定義是：用數字化技術，打造具有逼真人類長相、語言、動作姿態、身體特征的虛擬3D 人體模型。市場調研機構IDC將數字人定義為“采用人工智能技術驅動生成的數字化的虛擬人物——具備人的外觀、感知互動能力以及表達能力”。
一般地，人們把數字人稱為數字人，是通過聚合科技創造的存在于虛擬世界，且具有類"人"特質的數字形象。它是元宇宙中自然人進行虛擬時空感知的主要載體，是實現人機融合交互的組成部分，也是元宇宙的經濟增值板塊。數字人與自然人、機器人共同組成了元宇宙的“三元”。
數字人能夠感知不同環境， 根據人的需求形成"化身" 形象。人機交互將被賦予智能化、情感性和思想性特征，數字人將復制人類 的知識、記憶、思維和情感，從而在社交系統、生產系統、經濟系統上實現與自然人的虛實共生。
數字人的三大特征是虛擬化、擬人化和智能化。從技術上看， 數字人指存在于非物理世界中，由計算機圖形學、圖形渲染、動作捕捉、深度學習、語音合成等計算機技術段創造，并具有多重人類特征(外貌特征、人類表演能力、人類交互能力等)的綜合產物。
2. 數字人的一般設計流程
數字人，在技術上分為靈活的真人驅動型和基于深度學習的計算驅動型。
2.1 真人驅動的數字人
真人驅動型在動作靈活度、互動效果等方面有明顯優勢， 一方面能夠在影視內容的創作中減低生產成本，為影視行業降低門檻，推動影視級內容向消費級轉化。另一方面則多用于虛擬偶像、重要直播中，幫助數字人完成大型直播、現場路演等互動性、碎片化活動。
其一般設計流程如下：
- 形象設計及建模：繪制原畫，面部及3D建模
- 建模綁定：關鍵點綁定的數量及位置影響最終效果。
- 表演捕捉：捕捉在形體、表情、眼神、手勢等方面的關鍵點變化。
- 驅動及渲染：根據制作實時驅動數字人表演，特定設置語音
- 生成內容，進行互動：進行直播，或錄制其動作生成內容
2.2 計算驅動的數字人
計算驅動的數字人最終效果受到語音合成、NLP 技術、語音識別等技術的共同影響。盡管在特定方向上，各感知類技術已有的商業化能力已足以支撐，然而，但要達成理想的綜合效果， 需要該公司在三個方面同時具有較強的綜合能力。
其一般設計流程如下：
- 設計形象：采集數據
- 形象建模，進行綁定：設計形象模型，進行關鍵點綁定。
- 訓練各類驅動模型：利用深度學習，學習語音、形象、表情參數間的潛在映射關系。
- 內容制作：基于輸入的語音預測唇動、表情等參數，利用GAN 選出最最佳幀，將語音和每幀的數字人圖片進行結合。
- 進行渲染，生成最終內容。
圖片
3 大模型賦能數字人
生成式AI的崛起，給數字人產業帶來了根本性變化。
傳統的數字人技術主要依靠預設參數和有限的模型訓練，但大模型技術則為其提供了近乎無限的訓練參數和自主生成能力，使數字人更為真實多樣。大模型包含了數字人形象、動作、表情、口型、聲音等要素，每個用戶可以結合個人數據對數字人進行訓練。
大模型對 2D 數字人的提效顯著。AI 的生成能力天然適配 2D 數字人。市面上出現了許多 2D 數字人定制工具，邏輯基本一致：只要你輸入文案素材，就能生成數字人形象。
3D數字人的工作流比2D要復雜非常多，大模型能讓數字人制作成本十倍、百倍地下降，還能讓虛擬數字人生產周期，從動輒幾個月，縮短到小時級別。數字人的制作成本，將從百萬級降低到萬元級別。
大模型不僅直接降低了3D數字人的制作難度，更為數字人注入了靈魂。過去3D建模依賴傳統CG技術，動作捕捉需要采集真人大量數據，現在依托于視頻大模型的數字人工具平臺上，算法可以高效生成3D模型，處理面部細節也更加逼真，提升了面部表情以及唇形同步的質量。
更重要的是， 大模型在很大程度上解決了數字人的自然語言理解能力，多模態大模型是數字人真正的靈魂。然而，創意邊界，毋庸置疑將會依靠大模型的語料庫、算力儲備，以及其所迸發的涌現能力來提升，效果仁者見仁智者見智。
4 數字人的評估指標
社會學中人類身體研究分為兩條主要路徑：自然主義身體觀和社會建構論身體觀。自然主義身體觀重點強調人類的軀體屬性“肉身”, 而社會建構論身體觀則重點強調人類的社會屬性“社身",從功能角度分析，兩種身體觀都關注了人類的工具屬性"具身”。數字人綜合指數以此為基礎，將社會學中自然人的“身體觀”引入數字人的評估思想中，形成數字人“三身”指數評價體系。
圖片
5. 數字人的產業鏈
國內外在細分市場上的競爭差異較大，國內外目前的共同市場是自動生成虛擬內容，但在外表細節、預設模板、配 套系統等方面的差異較大。國外更關注情感關懷的顧問/助手類數字人和用于打造數字人的應用，國內更關注虛擬客服類場景，對虛擬直播的高度關注是我國特有方向。
圖片
6. 數字人的類型與應用領域
數字人的應用可分為服務型數字人和身份型數字人，替代真人服務中的虛擬主播和虛擬IP中的虛擬偶像是目前的市場熱點。
圖片
6.1 B端應用
目前，數字人產品大多應用于B端場景，例如幫助互聯網商家實現全天候輪播的虛擬主播、 辦事大廳內自助辦理業務的虛擬前臺、自動處理訴求的虛擬客服等，B端消費者仍是市場的主要組成部分。
- 重構內容生產模式
- 提升數字內容生產效率和質量
- 重新定義粉絲經濟
- 助力品牌傳播
- 轉變品牌形象
- 拉近品牌和用 戶的關系
- 新型帶貨賦能電商
- 推動數字化轉型
- 助力企業提質增效
6.2 C端應用
數字人產品的C 端應用場景包括上傳照片后重現逝去親友的虛擬親友、服務于兒童教育的虛擬陪讀、監管自媒體公眾號的虛擬小編等。C端應用場景仍有較大挖掘潛力。
- 參與用戶的生活
- 追求更真實、更理想的自我
- 緩解真人手語主持人稀缺問題
- 有效解決聽障人士溝通問題
- 成為人們的助理、朋友甚至伴侶
7 數字人應用示例：品牌 IP 化
IP的呈現是抽象化的品牌理念被具象化后的產物，承載了品牌希望消費者被喚起的感性共鳴，并以獨特的特質將該品牌與其他品牌進行區分。企業品牌往往以IP形象進行傳播，動態的IP形象更能傳遞親切感，引發受眾的共情，使品牌形象更加鮮活生動，例如若干年前的海爾兄弟。如今，品牌方開始推出人形IP, 并從2D 的動畫展示進化為3D 的 立體呈現，追求更加擬人化的效果，以拉近和受眾的距離。
但是，單向傳播無法充分調動受眾的參與感。品牌方推出加入智能語音交互的數字人IP, 使之成為幫助用戶處理具體事務的虛擬助手角色，或是陪伴角色。長時陪伴的IP使得用戶產生更深層的情感，甚至形成“養成”體驗， 增強IP的定制感。數字人IP的身份可以是寵物、伴侶、子女、同學等，用戶不僅能夠見證虛擬IP被自己塑造而發生的改變，也能洞見自身 在這一過程中的成長。
8. 數字人面臨的問題與挑戰
數字人同樣存在技術瓶頸，也出現一些新的問題。
8.1 技術挑戰
尤其是計算型數字人，受限于大批量、高質量的訓練數據樣本，實現泛化性仍然是當前存在的挑戰。寫實風格的數字人在越來越像人的同時，仍需突破“恐怖谷效應"。
情感傳達是技術瓶頸。當前仍然主要運用動作捕捉技術，數字人的表情基準還是無法傳達類似于眉毛的彎曲度，肌肉顫動等微表情細節，所以很難將中之人所表達的情感完全傳達出來。在人與數字人的在交流過程中只能單純的傳達文字，而背后的情感語義和情緒則沒有辦法直接傳達出來。另外，數字人缺少情感Al 算法的應用，沒有辦法通過判斷人說話的情感來轉變回復進而改變情感傾向，實現更人性化的交互，基于多模態的大模型或許可以部分解決這一問題。
8.2人類友好問題
數字人所營造的新型人機關系，可能成為人類組織活動中強行嵌入的某種“異物”,人類組織對這類智能嵌入物是否有排異反應，目前還很難從個別的孤例中獲取足夠的數據，做出有效的判斷。也就是說，當大量數字人，處于工作崗位、擔當工作職責的時候，組織行為將會出現何種變化，尚待考察。
8.3 倫理問題
智能技術的核心算法，將技術與倫理問題緊密結合在一起。某種智能算法支撐下的數字人，在深度學習、大數據浸染之下，可能具備某種價值傾向、倫理傾向，甚至可能帶有某種“邪惡”傾向。
8.4 法律問題
隱私保護是不變的主題，制作有真人原型的數字人需要抓取大量信息，而大量地、 非法地提供這些信息反映出漠視或忽略隱私保護的現象。隱 私安全的權利一部分屬于現實用戶，另一部分屬于產生了自我意識的數字人。利用深度合成技術可以實現人臉再現，但隨著網絡技術逐步發展以及對肖像權保護力度的不足，大量抓取網絡視頻、圖像的深度合成問題成為一種法律隱患。
虛擬空間是制作數字人的底層結構，因此虛擬網絡的管轄 權就是客觀規劃數字人的基礎。法律的管轄首先需要確定網絡犯罪的所在地，而虛擬空間中的犯罪行為最初和最終發生在什么地方難以確定。
對應開發者而言，“避風港原則”是一種針對網絡服務提供者的責任豁免原則，具體指網絡服務提供者接到權利人的通知后，根據法律規定斷開與侵權的作品、表演、錄音錄像制品的鏈接的，不承擔賠償責任。
9. 小結
數字人是未來人工智能大模型最重要的應用入口。通過大模型的賦能，數字人的產品發展首先要提升自主創新能力，有賴于數字資產的確權、自有技術運營、IP的持續迭代與進化。同時，需要打造全媒體的多模態傳播體系和持續性事件營銷體系，為數字人的傳播內容的生產、呈現、自傳播提供源泉，不斷提升傳播影響力。挖掘個性化傳播內容，通過個性化吸引目標用戶并保持用戶粘性、提升忠誠度與口碑。另外，重視社會價值傳播，賦予虛擬數字人社會服務屬性，提升行業影響力和自身公信力。
如果覺得數字人過于復雜，不妨從一個語音機器人入手，臨近雙十一，推薦給大家一本本人參與的最新譯作，可以作為語音機器人產品經理的案頭手冊，對于數字人的設計同樣大有裨益。
