獨家揭祕龔俊、鄧麗君等明星數字人背後的“黑科技”

語言: CN / TW / HK

作者|夏雯琪

江蘇衛視跨年晚會上,周深與鄧麗君跨時空合唱《大魚》感動了許多人,B站彈幕被“淚目”刷屏。“虛擬鄧麗君”背後的團隊,來自數字王國(Digital Domain),這家公司曾用類似虛擬人的技術,完成了《速度與激情7》中已故男星保羅·沃克的戲份。

虛擬鄧麗君

同樣是跨年的時間節點,百度結合AI技術推出的龔俊數字人在百度App上進行了一場直播,這是國內首個“可互動超寫實虛擬人”,唱歌、說話都是由AI驅動,與虛擬鄧麗君走了略為不同的技術路線。

龔俊數字人

而湖南衛視新開播的《你好星期六》,也推出了數字人小漾,與龔俊、鄧麗君的“數字孿生”不同,小漾雖然語氣神態跟謝娜神似,但湖南衛視顯然是希望從無到有,打造一個全新的形象。

小漾

進入2022,明星與虛擬人技術的結合越來越深,越來越複雜。

AI驅動、超寫實,技術上都已成熟;而明星的“數字孿生”是否要以假亂真,還是重塑一個新的人格,也引發行業新的思考。

百度在與龔俊合作數字人時,沒想到龔俊團隊會提出:“不要100%相像,最好在外形、個性、特長等方面有一定的差異。”

最終,百度藉助AI技術,讓龔俊數字人做了一系列真人做不到的事,比如互動聊天、AI作詞作曲、彈鋼琴、唱歌跳舞、直播賣貨等等。

數字王國CEO謝安對剁椒TMT透露:“數字王國事實上也可以實現讓AI驅動鄧麗君的形象與外界對話,鄧麗君的語言、動作、表情都可以做到非常逼真。但為了保證電視節目的萬無一失,也保護鄧麗君的形象,數字王國最終採用了更穩妥的、中之人的方式來呈現。”

此外,新冠期間的好萊塢,大量“以假亂真”的明星數字人,正在成為影視劇中的虛擬替身。

不斷迭代的明星數字人,未來將去向何處?剁椒TMT跟行業前沿的幾家公司聊了聊。

面捕、脣動、TTS、NLP……多重科技加持下的龔俊數字人

如今,在百度APP中將“龔俊數字人”設定為語音搜尋助理,“龔俊”便會為你播報搜尋結果。百度還根據龔俊的人設特點為其設定了可由機器學習的問答,風格與“小度”的說話個性形成了極大的區別。

百度語音搜尋介面

百度龔俊數字人專案負責人表示,從2019年開始,百度也在打造二次元數字人IP“度曉曉”,不過“明星數字人有粉絲基礎,比其他網紅數字人更容易破圈,可以讓更多人關注和使用百度APP,帶動語音搜尋的增長。”

據悉,龔俊數字人這一專案,由百度MEG(移動生態事業群組)作為統籌和核心落地,聯動了百度智慧雲、百度大腦、語音技術部等多個部門。

在外型方面,“掃描當天影棚遭遇颱風,時間很緊張,專案組只用半小時,就掃描、捕捉好了龔俊說話時的面部表情、口型肌肉等細微變化,”負責人表示,他們利用AI 自動生成模型,將原本幾個月的製作週期壓縮到了三週。

同時,百度採集了龔俊的20條語音,依託TTS(Text To Speech)技術,合成音色接近真人的聲音;接著,基於百度的自然語言處理(NLP)技術,讓數字人可以與使用者對話,甚至在最近的直播中可以展現流暢的歌聲。

為了讓模型和AI語音結合起來,百度語音技術部用“脣動技術”還原了真人說話時的口型變化,使虛擬人說話時自然生動。“龔俊本人看到最終效果後,也覺得很有趣,還願意與龔俊數字人進行直播連線對話。”

現在,百度APP中的龔俊數字人只有幾個簡單動作,更深度的對話、唱歌等功能可以在百度青春版APP(Wonder)中體驗。

目前,龔俊數字人比較大的不足是動作、表情由於之前動作掃描時間有限都還不夠精細,且因為動捕資料不足,在此前的直播中,雖然說話、唱歌都是AI驅動,但肢體動作還是需要藉助中之人來完成。

為了提升這些能力,需要對龔俊本人進行更長時間的動作捕捉和麵部捕捉。

百度方面表示,龔俊本人也有興趣再進行一次更精細的動作捕捉,未來,龔俊數字人有望可以根據語義自動配合肢體反應,進行更復雜的互動。

2022年,百度“龔俊數字人”有兩個任務,首先是進行機器深度學習,將百度的AI互動能力進一步遷移到龔俊數字人,逐漸引入更多功能,服務百度APP的使用者。

其次就是,探索數字人商業化的道路。明星數字人的代言費顯然低於明星本人,但,數字人會自帶科技感,成為另一種的營銷優勢。目前,除了龔俊原本代言的品牌,也有其他品牌表達想要商業合作的意願。

不過,除了與經紀公司共同擁有版權、不能代言競品產品外,明星數字人的精細度與資金成本也需要進行平衡。

“龔俊數字人第一支亮相影片精細度最高,1秒鐘成本近萬元,而在Unreal中打造一個場景也價格不菲。”超寫實數字人的製作成本較高,其強大功能上線到百度App前,還要考慮安裝包包體增大、影響使用者體驗的問題,目前它在百度App中的精細度就比較低。

“度曉曉、龔俊數字人、祝融號數字人,我們同時在走幾條不同的虛擬人道路,還需要驗證模式,再進行復制。”百度相關負責人表示。

虛擬鄧麗君背後:數字王國如何做到以假亂真?

“照片寫實級”,這是數字王國CEO謝安頻繁提到的一個詞。 

的確,作為曾負責《泰坦尼克號》等幾百部大片特效的好萊塢巨頭,打造CG級別的虛擬人,是數字王國最大的優勢和特點,而虛擬鄧麗君這些年也經歷了許多次技術的迭代,逐漸做到“以假亂真”。

虛擬鄧麗君初次登臺,是在2013年周杰倫演唱會上合唱新歌《千里之外》。

謝安回憶起當年第一版虛擬鄧麗君的製作過程:“我一輩子都不會忘記,當時有一位得過兩次奧斯卡獎的視效藝術家,他灰暗的辦公室裡貼滿幾百張鄧麗君的照片,用瑪雅(建模軟體)一筆一劃、手工勾勒出了鄧小姐的3D模型。”

而在動作方面,虛擬鄧麗君最初由美國的一位演員模仿動作,進行捕捉,略顯浮誇,還曾受到過“像迪士尼卡通人物”的爭議;而後,他們不斷修改、研究鄧麗君虛擬人的神態和動作,提升精細度。

與當年不同的是,如今數字王國的虛擬人,早已可以通過實時渲染生成,不僅成本大幅度降低,精細度、真實感也較此前大幅度提升。

2015年,數字王國開始對人物的肌肉、毛細血管進行全方位的掃描,並引入了大量人工智慧技術,利用機器深度學習去揣摩演員不同情緒下的動作和表情反饋。

今年江蘇衛視的跨年晚會,鄧麗君背後的聲音扮演者,是由模仿鄧麗君而走紅的歌手陳佳來擔任。除此之外,數字王國結合鄧麗君生前較高清的影片,將這些機器深度學習得到的“密碼”輸入到模型中,實時轉化為鄧麗君歌唱、交談的樣子。

“最令我們最激動的不是這八年來的合唱時刻,而是2019年底,我們曾用影片通話軟體,讓虛擬鄧麗君和鄧麗君生前的親朋好友們對話,有好幾個人都哭了,在房間裡一首首合唱,不願意離開。”

謝安表示,“在好萊塢這個小社群,大家都知道我們是虛擬人技術的革新者。以前演員們都痛恨必須花幾小時特效化妝,還擋住了面部表情。”

在《復仇者聯盟》系列的拍攝中,數字王國結合Unreal這一遊戲引擎,導演可以在監視器上實時看到渲染後“滅霸”呈現的情感,節省了很多時間和成本。

新冠疫情下,一些好萊塢明星拍少數電影鏡頭時還被要求戴口罩,數字王國還可以僅僅根據臺詞、語氣,訓練機器深度學習,推測、渲染出演員的嘴型和表情,達到“以假亂真”的程度。

打造明星數字人:孿生VS新生?

從商業和新意的角度來看,與明星本人的不同之處,才是虛擬人存在的意義。

很多明星都希望數字孿生跟自己有一定區隔。林俊杰也曾在抖音首秀中,與“數字孿生”M.E同臺,雖然外型一模一樣,但數字人的個性人設與他完全相反、還有一些不同的技能才藝,達到了有趣的效果。

如果過於真實、複製,不論是明星還是普通人的數字孿生,都面臨著倫理問題的討論。一方面,已故明星的虛擬形象不應過於商業化。

“我們心裡一直有一個道德準則,鄧長富先生在簽約時曾經說,我把親妹妹交給你了,我說過不會讓他失望。所以,除了曾開展過線下演唱會、跨年這種重要時刻演出,一般都是做慈善、公益活動,我們不會去過度消費鄧小姐。”

另外,可以做到交流互動的超寫實虛擬人,也有著類似換臉技術的倫理風險。

2019年,數字王國高管Doug Roble穿著動捕裝置登上TED演講臺,而大螢幕呈現的是孿生虛擬人“DigiDoug”的演講,他擁有逼真的毛孔、皺紋,連血液跟隨表情改變以及睫毛悄悄顫動都能實現,還能瞬間切換成其他寫實虛擬人。

虛擬人DigiDoug

“當你們影片採訪我,怎麼確保那是我,而不是我的虛擬替身?其實是公關團隊在幕後幫我回答?”謝安指出,新冠期間一些好萊塢演員不願出國拍戲被隔離、感染,或者不願和某人拍對手戲,“當他使用虛擬替身後被提名了奧斯卡,這場戲到底是誰演的?” 

在“數字孿生”之外的另一條路,則是像Ayayi、柳夜熙這類“從無到有”的虛擬人。

據悉,Ins粉絲超過305萬的雀斑虛擬人“Lil mequela”,2019年營收高達7600萬元人民幣,單次代言合作百萬元起步。

“很多大品牌知名度已經很高了,他們考慮到明星的風險,很多想打造代表自己企業文化的虛擬人,”孔繁奇表示。

不過,憑空孵化“虛擬人”遇到的難題是,建立超寫實模型成本更高;沒有粉絲基礎,從0開始要做什麼人設、什麼外型才能走紅,如何進行長期內容運營?這些都是擺在數字人行業專家們面前的問題。

比如《你好星期六》裡面虛擬主持人“小漾”的表現被網友評價為“還沒長大”,很多隻有圖片動態的網紅類虛擬人目前的粉絲數、互動量已經越來越低,沒有令人“眼前一亮”的人設和豐富內容。

儘管虛擬人在技術發展方面已經日趨成熟,但製作成本並未大規模降低,與此同時,缺乏運營層面的操盤手,也並未出現“獨角獸”公司。

曾經,明星虛擬人需要解決的問題是“相似”,而如今,數字人行業更多考慮的是,如何讓一個數字人形象招人喜歡,甚至,過目不忘。

“不少公司找到我們,希望幫忙打造一個虛擬人。”一位數字人領域的操盤手錶示:“但我們通常會反問,虛擬人長什麼樣,是什麼人設,要花多大的成本,後續如何運營,你們,想清楚了嗎?”

—End—

近期,剁椒TMT將在北京舉辦關於數字人的第二期活動,與大家共同探討數字人的前沿技術、營銷與人設。

感興趣的朋友可以掃下方二維碼溝通,也歡迎行業內的朋友們推薦&自薦演講嘉賓。

話題互動

你如何看待明星數字人?

*我們將在留言區中抽出一位讀者送出神祕禮品 ,歡迎大家留言討論!

剁主建群啦! 掃碼新增客服號,回覆入群及所在的公司和職務,便可入群 獲取一手資訊,還有剁主準備的專屬小福利哦!