上海大學(xué)副教授“變身”蘿莉，開發(fā)自制軟件二次元上網(wǎng)課
疫情帶火了線上教育，也把一批老師逼成了“主播”。
為了給在家上課的同學(xué)們的同學(xué)們更好的學(xué)習(xí)體驗(yàn)，老師們煞費(fèi)苦心，各種線上直播軟件齊上陣。不過，學(xué)生還沒開始抱怨，老師倒是先把苦叫上了天，紛紛表示“當(dāng)主播這么不容易”。
最近，上海大學(xué)開啟在線教學(xué)，為了提高學(xué)生上課的積極性，根據(jù)澎湃新聞報(bào)道，上海大學(xué)數(shù)碼藝術(shù)系副主任、副教授蔣飛把他的《動(dòng)態(tài)構(gòu)成》這門在線教學(xué)直播課玩出了花。
作為一名給藝術(shù)系學(xué)生講授計(jì)算機(jī)編程的老師，他擔(dān)心課程太枯燥學(xué)生不愿意看，于是利用虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)，把自己的課堂搬進(jìn)了二次元，“變裝”上課，從動(dòng)作到嘴形都可以實(shí)時(shí)同步動(dòng)漫人物。
利用技術(shù)手段，不僅可以在二次元里感受更加有代入感的“課堂”環(huán)境，還可以讓同學(xué)自行選擇各種講課的動(dòng)畫人物，從萌妹子到機(jī)械人，應(yīng)有盡有。
圖片來自澎湃新聞
如果學(xué)生們選擇了二次元萌妹子，上課的畫風(fēng)瞬間就會(huì)變成這樣👇，上課的學(xué)生對此驚訝連連贊不絕口，網(wǎng)課的聽課率也顯著提高。
圖片來自澎湃新聞
近日，蔣飛老師也在澎湃新聞的采訪視頻中說明了自己為何萌生了這樣的想法，又是如何“變裝”萌妹子上課的，快和文摘菌一起來看看吧~
其實(shí)，在做增強(qiáng)現(xiàn)實(shí)的網(wǎng)課之前，蔣飛也遇到了上述難題，就是老師辛辛苦苦錄制了網(wǎng)課，但是課程上線后，并不是所有的學(xué)生都看了。
于是，為了讓同學(xué)們更輕松也更容易地進(jìn)行學(xué)習(xí)，也為了更好地給藝術(shù)系的同學(xué)們講解計(jì)算機(jī)編程的相關(guān)知識(shí)，他利用了雙目攝像頭，再結(jié)合了自己開發(fā)的軟件，完成了在線“變裝”，在這個(gè)系統(tǒng)完成后，蔣飛表示，“學(xué)生上課的積極性，還有作業(yè)質(zhì)量的提高有明顯的進(jìn)步”。
甚至，蔣飛發(fā)現(xiàn)，有不少學(xué)生會(huì)提前完成錄播課的學(xué)習(xí)，提前上交作業(yè)，到了課堂討論環(huán)節(jié)，學(xué)生會(huì)提出超綱問題。因此他現(xiàn)在也需要根據(jù)同學(xué)們的學(xué)習(xí)情況實(shí)時(shí)調(diào)整授課進(jìn)度。
“這也是因課制宜，我的課程講計(jì)算機(jī)方面的藝術(shù)，很多設(shè)計(jì)用到編程，非常適合網(wǎng)上教學(xué)。”蔣飛說，錄播課可以反復(fù)回看，直播課用來答疑互動(dòng)，虛擬替身就是在這時(shí)出現(xiàn)。
一開始，只有本科畢業(yè)設(shè)計(jì)課上會(huì)用到“變裝”設(shè)備，但是研究生知道這個(gè)情況后，也紛紛“上書”要求老師這樣上課。如今，蔣飛已經(jīng)優(yōu)化了軟件，能夠?qū)崿F(xiàn)虛擬替身的流暢運(yùn)行了。
“線下上課仍以老師為中心，線上教學(xué)以學(xué)生為中心，我的造型都是學(xué)生幫選的。”談到線上教學(xué)，蔣飛認(rèn)為，這也是對老師的一種挑戰(zhàn)，老師的壓力更大了，“我感覺上了一個(gè)小時(shí)的線上，相當(dāng)于兩個(gè)小時(shí)的線下，真的是成倍的增加”。
雙目攝像頭捕捉人體，自制軟件合成動(dòng)畫
生成這樣的虛擬替身一共需要兩個(gè)步驟，一是通過視頻捕捉老師的肢體動(dòng)作；二是通過軟件將實(shí)時(shí)監(jiān)測出的人體數(shù)據(jù)通過軟件與虛擬形象進(jìn)行匹配，生成動(dòng)畫。
傳統(tǒng)的人體動(dòng)作捕捉一般用于影視制作，在一些科幻片的拍攝花絮上，我們經(jīng)常可以看到綠幕前的演員身上綁了許多小球，這些小球就是一種傳感器，可以將位置狀態(tài)實(shí)時(shí)傳輸?shù)接?jì)算機(jī)中用于后期合成。
這種方式盡管比較精確，但是過于復(fù)雜，蔣飛老師采取的是利用雙目攝像頭來捕捉肢體動(dòng)作。
雙目攝像頭可以在同一場景下拍攝左右兩幅圖像，運(yùn)用立體匹配算法獲取視差圖，進(jìn)而獲取深度圖，而后通過景深圖對二維圖像進(jìn)行三維重建。
當(dāng)然，蔣飛老師的目的是將身體動(dòng)作同步到動(dòng)畫人物上，因此也不需要進(jìn)行完整的三維建模，而只需要通過視頻定位自己的身體部位，即基于雙目視覺構(gòu)建人體動(dòng)作捕捉系統(tǒng)，一種可行的方法是基于顏色特征的 Camshift 算法對人體關(guān)節(jié)進(jìn)行追蹤，結(jié)合 Kalman 濾波提高抗干擾性。
當(dāng)然，現(xiàn)在也有各種深度學(xué)習(xí)模型可以提供基于視頻的人體姿態(tài)估計(jì)，并且不需要雙目視覺，普通攝像頭也可以完成，主要是通過大量已標(biāo)記的視頻數(shù)據(jù)進(jìn)行模型訓(xùn)練，從而讓模型可以僅憑二維圖像就可以捕捉人的關(guān)鍵關(guān)節(jié)（肘部、手腕、膝蓋等）。
從 DeepNet 到 HRNet，文摘菌也曾經(jīng)對基于深度學(xué)習(xí)的“人體姿勢估計(jì)”進(jìn)行了梳理，感興趣的同學(xué)可以回顧一下。
第二步便是將檢測到的人體數(shù)據(jù)與動(dòng)畫人物相匹配，這個(gè)需要相應(yīng)的軟件，Adobe 公司出品的 CharacterAnimator 就可以將人體的動(dòng)作實(shí)時(shí)投射到動(dòng)畫人物，但是卻不能實(shí)時(shí)運(yùn)行，只能用于后期。
蔣飛老師是通過自己制作的軟件完成的這一步，并且進(jìn)行了優(yōu)化，這個(gè)軟件要將接收到的雙目攝像頭的視頻數(shù)據(jù)轉(zhuǎn)化為人體姿態(tài)數(shù)據(jù)，再對虛擬人物進(jìn)行實(shí)時(shí)渲染，還要合成到課堂環(huán)境中，這個(gè)難度還是不小的。
近年來，我國線上教育風(fēng)生水起
這次變裝“蘿莉”的老師蔣飛是上海大學(xué)美術(shù)學(xué)院數(shù)碼藝術(shù)系副主任、美國麻省理工媒體實(shí)驗(yàn)室訪問教授、中國工業(yè)設(shè)計(jì)協(xié)會(huì)信息與交互設(shè)計(jì)專業(yè)委員會(huì)委員。他從事的研究方向正是數(shù)字媒體藝術(shù)與信息與交互設(shè)計(jì)，始終致力于打造技術(shù)與藝術(shù)融合的復(fù)合型人才，認(rèn)為學(xué)生們應(yīng)該有良好的藝術(shù)素養(yǎng)和獨(dú)特的個(gè)人創(chuàng)意。
蔣飛曾公開表示過，跨學(xué)科合作應(yīng)該是高校數(shù)字藝術(shù)發(fā)展的一個(gè)方向，因?yàn)閿?shù)字媒體人才是復(fù)合型人才，除了要求從業(yè)者有熟練的操作技巧之外，更要求從業(yè)者有良好的藝術(shù)素養(yǎng)和獨(dú)特的個(gè)人創(chuàng)意，技術(shù)教育應(yīng)與文化、藝術(shù)融合。創(chuàng)新型數(shù)碼藝術(shù)人才要求數(shù)字制作相關(guān)人員既要具有人文藝術(shù)修養(yǎng)，又要能夠運(yùn)用最新的數(shù)字制作技術(shù)手段。
這次疫情期間，蔣飛通過“變裝”的方式為同學(xué)們上網(wǎng)課，講技術(shù)和媒介完美結(jié)合，也是對自己的教學(xué)理念做出了最直接的實(shí)踐。
其實(shí)近年來，用技術(shù)輔助內(nèi)容的線上教育也是風(fēng)生水起，比如去年北京郵電大學(xué)就開通了虛擬課堂，采用5G＋4K 全息投影的方式遠(yuǎn)程直播授課。
去年 9 月 16 日，北京郵電大學(xué)全息投影遠(yuǎn)程直播教室首次正式上課。在沙河校區(qū)由蘆鵬飛老師主講的諾貝爾物理學(xué)獎(jiǎng)簡史課程以全息投影的方式與西土城校區(qū)的同學(xué)們見面了。
北郵的這次全息投影遠(yuǎn)程直播授課主要有兩個(gè)特色，一是憑借 5G 低時(shí)延、高速率特性實(shí)現(xiàn)的 4K 影像實(shí)時(shí)傳輸，二是全息投影帶來的全新體驗(yàn)。
西土城校區(qū)呈現(xiàn)的實(shí)時(shí)全息影像
基于 5G 技術(shù)實(shí)現(xiàn)的 4K 全息影像傳輸非常流暢，上課過程中幾乎沒有出現(xiàn)卡頓現(xiàn)象，相當(dāng)驚艷。但是，全息投影技術(shù)還沒有盡善盡美，依舊有很大的發(fā)展空間。
去年 12 月 20 日，北郵又表示可以在線上學(xué)數(shù)學(xué)了！
李鶴老師站在藍(lán)色的幕布前，生動(dòng)的講著拉格朗日中值定理，面前卻沒有一位學(xué)生。沒錯(cuò)，大家都在屏幕前！
同學(xué)們看到的課堂
不僅可以在寢室看直播學(xué)習(xí)，直播結(jié)束后還可以看回放哦~北郵的同學(xué)們對虛擬課堂贊不絕口，同時(shí)也充滿了期待：
“全息影像授課非常新穎，而且比傳統(tǒng)的視頻遠(yuǎn)程授課更加真實(shí)。”
“感謝李老師生動(dòng)精彩的講評(píng)，很多思路都對我有極大的幫助，希望今后可以看到更多新技術(shù)與教學(xué)的融合應(yīng)用，不斷帶給我們更好的課程體驗(yàn)！”
通過這次疫情采取的線上學(xué)習(xí)，讓我們感受到老師們的努力與敬業(yè)，同時(shí)也讓我們看到了未來網(wǎng)課的無限潛力。科技和教育一直是相輔相成的兩個(gè)方向，可以推動(dòng)彼此向更好的方向發(fā)展。
如果未來的網(wǎng)課都能做到生動(dòng)形象，智趣兼?zhèn)洌寣W(xué)生體會(huì)到學(xué)習(xí)的趣味性，那么這樣的網(wǎng)課，誰能不愛呢？
