上海大學副教授“變身”蘿莉，開發自制軟件二次元上網課
疫情帶火了線上教育，也把一批老師逼成了“主播”。
為了給在家上課的同學們的同學們更好的學習體驗，老師們煞費苦心，各種線上直播軟件齊上陣。不過，學生還沒開始抱怨，老師倒是先把苦叫上了天，紛紛表示“當主播這么不容易”。
最近，上海大學開啟在線教學，為了提高學生上課的積極性，根據澎湃新聞報道，上海大學數碼藝術系副主任、副教授蔣飛把他的《動態構成》這門在線教學直播課玩出了花。
作為一名給藝術系學生講授計算機編程的老師，他擔心課程太枯燥學生不愿意看，于是利用虛擬現實和增強現實技術，把自己的課堂搬進了二次元，“變裝”上課，從動作到嘴形都可以實時同步動漫人物。
利用技術手段，不僅可以在二次元里感受更加有代入感的“課堂”環境，還可以讓同學自行選擇各種講課的動畫人物，從萌妹子到機械人，應有盡有。
圖片來自澎湃新聞
如果學生們選擇了二次元萌妹子，上課的畫風瞬間就會變成這樣👇，上課的學生對此驚訝連連贊不絕口，網課的聽課率也顯著提高。
圖片來自澎湃新聞
近日，蔣飛老師也在澎湃新聞的采訪視頻中說明了自己為何萌生了這樣的想法，又是如何“變裝”萌妹子上課的，快和文摘菌一起來看看吧~
其實，在做增強現實的網課之前，蔣飛也遇到了上述難題，就是老師辛辛苦苦錄制了網課，但是課程上線后，并不是所有的學生都看了。
于是，為了讓同學們更輕松也更容易地進行學習，也為了更好地給藝術系的同學們講解計算機編程的相關知識，他利用了雙目攝像頭，再結合了自己開發的軟件，完成了在線“變裝”，在這個系統完成后，蔣飛表示，“學生上課的積極性，還有作業質量的提高有明顯的進步”。
甚至，蔣飛發現，有不少學生會提前完成錄播課的學習，提前上交作業，到了課堂討論環節，學生會提出超綱問題。因此他現在也需要根據同學們的學習情況實時調整授課進度。
“這也是因課制宜，我的課程講計算機方面的藝術，很多設計用到編程，非常適合網上教學。”蔣飛說，錄播課可以反復回看，直播課用來答疑互動，虛擬替身就是在這時出現。
一開始，只有本科畢業設計課上會用到“變裝”設備，但是研究生知道這個情況后，也紛紛“上書”要求老師這樣上課。如今，蔣飛已經優化了軟件，能夠實現虛擬替身的流暢運行了。
“線下上課仍以老師為中心，線上教學以學生為中心，我的造型都是學生幫選的。”談到線上教學，蔣飛認為，這也是對老師的一種挑戰，老師的壓力更大了，“我感覺上了一個小時的線上，相當于兩個小時的線下，真的是成倍的增加”。
雙目攝像頭捕捉人體，自制軟件合成動畫
生成這樣的虛擬替身一共需要兩個步驟，一是通過視頻捕捉老師的肢體動作；二是通過軟件將實時監測出的人體數據通過軟件與虛擬形象進行匹配，生成動畫。
傳統的人體動作捕捉一般用于影視制作，在一些科幻片的拍攝花絮上，我們經常可以看到綠幕前的演員身上綁了許多小球，這些小球就是一種傳感器，可以將位置狀態實時傳輸到計算機中用于后期合成。
這種方式盡管比較精確，但是過于復雜，蔣飛老師采取的是利用雙目攝像頭來捕捉肢體動作。
雙目攝像頭可以在同一場景下拍攝左右兩幅圖像，運用立體匹配算法獲取視差圖，進而獲取深度圖，而后通過景深圖對二維圖像進行三維重建。
當然，蔣飛老師的目的是將身體動作同步到動畫人物上，因此也不需要進行完整的三維建模，而只需要通過視頻定位自己的身體部位，即基于雙目視覺構建人體動作捕捉系統，一種可行的方法是基于顏色特征的 Camshift 算法對人體關節進行追蹤，結合 Kalman 濾波提高抗干擾性。
當然，現在也有各種深度學習模型可以提供基于視頻的人體姿態估計，并且不需要雙目視覺，普通攝像頭也可以完成，主要是通過大量已標記的視頻數據進行模型訓練，從而讓模型可以僅憑二維圖像就可以捕捉人的關鍵關節（肘部、手腕、膝蓋等）。
從 DeepNet 到 HRNet，文摘菌也曾經對基于深度學習的“人體姿勢估計”進行了梳理，感興趣的同學可以回顧一下。
第二步便是將檢測到的人體數據與動畫人物相匹配，這個需要相應的軟件，Adobe 公司出品的 CharacterAnimator 就可以將人體的動作實時投射到動畫人物，但是卻不能實時運行，只能用于后期。
蔣飛老師是通過自己制作的軟件完成的這一步，并且進行了優化，這個軟件要將接收到的雙目攝像頭的視頻數據轉化為人體姿態數據，再對虛擬人物進行實時渲染，還要合成到課堂環境中，這個難度還是不小的。
近年來，我國線上教育風生水起
這次變裝“蘿莉”的老師蔣飛是上海大學美術學院數碼藝術系副主任、美國麻省理工媒體實驗室訪問教授、中國工業設計協會信息與交互設計專業委員會委員。他從事的研究方向正是數字媒體藝術與信息與交互設計，始終致力于打造技術與藝術融合的復合型人才，認為學生們應該有良好的藝術素養和獨特的個人創意。
蔣飛曾公開表示過，跨學科合作應該是高校數字藝術發展的一個方向，因為數字媒體人才是復合型人才，除了要求從業者有熟練的操作技巧之外，更要求從業者有良好的藝術素養和獨特的個人創意，技術教育應與文化、藝術融合。創新型數碼藝術人才要求數字制作相關人員既要具有人文藝術修養，又要能夠運用最新的數字制作技術手段。
這次疫情期間，蔣飛通過“變裝”的方式為同學們上網課，講技術和媒介完美結合，也是對自己的教學理念做出了最直接的實踐。
其實近年來，用技術輔助內容的線上教育也是風生水起，比如去年北京郵電大學就開通了虛擬課堂，采用5G＋4K 全息投影的方式遠程直播授課。
去年 9 月 16 日，北京郵電大學全息投影遠程直播教室首次正式上課。在沙河校區由蘆鵬飛老師主講的諾貝爾物理學獎簡史課程以全息投影的方式與西土城校區的同學們見面了。
北郵的這次全息投影遠程直播授課主要有兩個特色，一是憑借 5G 低時延、高速率特性實現的 4K 影像實時傳輸，二是全息投影帶來的全新體驗。
基于 5G 技術實現的 4K 全息影像傳輸非常流暢，上課過程中幾乎沒有出現卡頓現象，相當驚艷。但是，全息投影技術還沒有盡善盡美，依舊有很大的發展空間。
去年 12 月 20 日，北郵又表示可以在線上學數學了！
李鶴老師站在藍色的幕布前，生動的講著拉格朗日中值定理，面前卻沒有一位學生。沒錯，大家都在屏幕前！
同學們看到的課堂
不僅可以在寢室看直播學習，直播結束后還可以看回放哦~北郵的同學們對虛擬課堂贊不絕口，同時也充滿了期待：
“全息影像授課非常新穎，而且比傳統的視頻遠程授課更加真實。”
“感謝李老師生動精彩的講評，很多思路都對我有極大的幫助，希望今后可以看到更多新技術與教學的融合應用，不斷帶給我們更好的課程體驗！”
通過這次疫情采取的線上學習，讓我們感受到老師們的努力與敬業，同時也讓我們看到了未來網課的無限潛力。科技和教育一直是相輔相成的兩個方向，可以推動彼此向更好的方向發展。
如果未來的網課都能做到生動形象，智趣兼備，讓學生體會到學習的趣味性，那么這樣的網課，誰能不愛呢？
