人臉識別系統怎麼錄

得益於虛擬現實技術以及人工智慧和深度學習技術的快速發展，數字人在新聞傳媒、影視娛樂等領域快速普及。近期，虛幻引擎開發商Epic Games推出的工具MetaHuman Creator備受關注。

MetaHuman Creator與現階段市面上常見的“捏臉”應用不同，使用者可以基於近乎傻瓜式的互動方法，以極大自由度輕鬆快捷的建立獨一無二的高保真數字人類，即MetaHuman。使用者可以直接修改數字人的面部特徵、調整膚色，甚至是編輯牙齒和瞳孔顏色這種細枝末節的部分。應用支援匯入第三方軟體（比如3D MAX、MAYA等）的模型檔案，也可以直接選擇其內部預設的體型、髮型、服裝等。在完成快速角色設定後，可以將其匯出並下載到虛幻引擎中製作動畫。

該工具可以在不犧牲質量的情況下，將製作3D虛擬角色模型的時間由數週或數月大幅縮短至一小時內，而且視覺上的渲染效果很逼真，細節動作也十分流暢。

圖源：Epic Games

MetaHuman Creator正式推出後，不少蠢蠢欲動的開發者們開始嘗試用這款軟體做一些有趣的事情。其中最為活躍的，要數Twitter上一個名為Matt Workman的開發者。

MetaHuman Creator+動作追蹤，數字人被玩出新花樣

Matt Workman時常在Twitter和YouTube分享一些關於數字人的實時demo演示。

在一段影片中，Matt Workman展示了透過VIVE Tracker搭配Index的指虎手柄實現的實時數字人錄製效果。他更願意將其數字人的VR遠端控制稱為“Real Time Smart Puppet System”（ “實時智慧人偶系統” ），而不是“Motion Capture System”（“運動捕捉系統”），數字人在VR中能立即與數字環境進行互動，這與運動捕捉不大一樣。

實時智慧人偶系統（圖源：Youtube）

通常，傳統的企業級動作捕捉系統，無法讓被捕捉者看到反饋效果，他們只能在一個區域裡做動作，然後由另外一處的計算機顯示出監看畫面。這需要至少兩人協作完成，以及至少兩臺以上的計算機實現顯示和捕捉計算。

MetaHuman Creator為虛擬社交建立了範例，即玩家/開發者能夠基於現有的捕捉裝置和一臺計算機，完成執行和實時監控數字人的全部工作。他們可以基於虛幻引擎的智慧系統實時看到反饋效果，這對於虛擬直播、虛擬演唱會等使用場景來說非常實用且成本低廉。

最主要的是，即使你只是站在原地做動作，虛幻引擎匯入的MetaHuman Creator模型骨架也可以實現模擬行走、跑跳之類的動作。這種感覺就像是在家裡玩一款VR跑酷遊戲，數字人的上半身是真實的動捕反饋，而下半身的走動則可以透過AI實時生成。

動作捕捉（圖源：網路）

正如上述，儘管企業級動作捕捉系統早已不是新鮮事，但這一領域尚未出現過MetaHuman Creator這類以如此簡潔的應用實現高精度數字人動捕的案例，而之前的一些類似‘捏臉’軟體，與傳統的動作捕捉（影視、遊戲級別）效果無法比擬，MetaHuman Creator的問世令二者之間的差距開始縮小。

對於像Matt Workman這樣善於運用新科技工作的開發者而言，MetaHuman Creator就像是一把開啟潘多拉寶盒的鑰匙。

圖源：Twitter

除了上述裝備，Matt Workman還曾展示過使用其他VR硬體——HTC的VIVE Pro-Eye頭戴裝置並附帶唇部追蹤器VIVE Facial Tracker，這為他提供了在佩戴VR頭顯時將眼睛和嘴唇動作真實對映到數字人身上的硬體基礎。

演示影片裡，Matt Workman並沒有選擇對腿部和複雜的跑步動畫進行追蹤——他更想在坐著或站著時使用數字人，並希望透過軟體計算來整合全身的基本運動。他在另一個影片中分享了一個新的實時追蹤demo：在沒有使用VR頭顯跟蹤的情況下，他的面部表情透過iPhone拍攝並實時呈現在數字人上。

影片載入中。。。

Play Video

State of the MetaHuman

影片中他將胸部追蹤器轉移到背部上，把手肘上的追蹤器調整到手臂下方，這樣手臂就有了更多的移動空間。他還為Index Controllers添加了“移動”（“locomotion”）控制，這樣就可以輕鬆地在數字場景中重新定位數字人的位置。與此同時，他也使用了虛幻引擎的自帶外掛ControlRig，讓數字人的動作更流暢。

據Matt Workman所說，以每秒60幀的更新速率來看，VR唇部追蹤器“在大多數情況下”可以更精確地執行。如果選擇使用VR頭顯，還可以看到數字人直接位於其中的數字環境，提供了更真實的整體印象。

圖源：Unreal Engine

用手機實現數字人的動捕控制，這一出奇想法令Matt Workman的demo影片迅速在各大論壇走紅。因為幾乎從來沒有人能透過一臺iPhone完成如此高精度的面部表情還原。

他是如何做到使用iPhone將自己的面部表情捕捉到數字人身上？我們需要先介紹一下由Epic Games推出的iOS應用《Live Link Face》。

11步用iPhone實現人臉動作捕捉

Epic Games的虛擬影片製片專案經理Ryan Mayeda在影片中介紹《Live Link Face》的追蹤功能是利用了蘋果的ARKit和iPhone的TrueDepth前置攝像頭，可以對使用者的面部進行互動式追蹤，並透過Live Link直接將該資料從網路傳送到虛幻引擎中。

圖源：YouTube Unreal Engine

虛幻引擎要利用iPhone中的免費應用《Live Link Face》做到實時人臉捕捉，下載好應用程式後，這裡還需要啟用主要的幾個外掛：

Live Link：人臉捕捉資料是透過使用Live Link協議傳送的。

Apple ARKit、ARKit Face Support：能進行人臉追蹤的功能。

Time Date Monitor：能視覺化從蘋果手機傳入虛幻引擎的時間碼。

接下來就可以開始準備錄製影片了：

1。你需要準備一個已經繫結好一組面部骨架的角色，且這組骨架變形邏輯需要與ARKit面部識別生成的面部骨架變形邏輯相吻合。通常你需要在第三方繫結，以及在動畫工具（例如Autodesk Maya）中執行此操作，然後將角色匯入虛幻引擎。

2。在虛幻引擎中使用一個包含 Live Link姿勢（Live Link Pose） 節點的動畫藍圖來設定角色。在收到手機發送的動畫資料後，你將透過此節點將資料應用到角色上。

3。獲取計算機的IP地址連線《Live Link Face》應用程式。你通常可以在電腦的控制面板或設定中找到IP地址。

4。將手機和計算機連線到同一無線網路；或使用乙太網網線，透過Lightning乙太網介面卡將手機直接連線到計算機。

5。在iPhone上執行《Live Link Face》應用程式。在LiveLink設定頁面中點選 新增目標（Add Target），然後輸入計算機的IP地址。

圖源：Unreal Engine

6。在虛幻編輯器中，在主選單中選擇 視窗（Window） > Live Link，開啟 Live Link 面板。此時iPhone被列為主題；在角色的動畫圖表中找到 Live Link Pose 節點，將其主題設定為代表iPhone的主題。

7。在角色的動畫圖表中找到 Live Link Pose 節點，將其主題設定為代表iPhone的主題。

8。編譯（Compile） 並儲存（Save） 動畫藍圖。

9。選擇角色。在“細節”（Details） 面板中，須啟用“骨架網格體”（Skeletal Mesh） 類別中的“在編輯器中更新動畫”（Update Animation in Editor）設定。

圖源：Unreal Engine

10。 返回《Live Link Face》，將手機攝像頭對準你的臉部，直到應用程式識別出人臉並開始追蹤你的臉部動作。

11。 當你準備要錄製表演時，請點選《Live Link Face》應用程式中的紅色錄製（Record）按鈕。這將開始在iPhone上錄製表演，並在虛幻編輯器中啟動鏡頭試拍錄製器，開始在引擎中的角色上記錄動畫資料。再次點選錄製（Record） 按鈕停止錄製。

錄製好的影片可以點選《Live Link Face》左下角進行預覽和分享。

《Live Link Face》還支援OSC（開源控制）協議，複雜的製片流程可以利用這一點，讓外部應用來遠端控制Live Link Face，實現諸如透過一次點選或觸控就讓多臺iPhone同時開始錄製的功能。

MetaHuman，未來已來

虛幻引擎向我們展示了不少優質的數字人案例，動作類遊戲《地獄之刃》角色塞娜（Senua）、根據國內演員姜冰潔的相貌製作的高保真數字人Siren，以及Andy Serkis和Mike Seymour等等。

這也說明數字人未來將有可能被更廣泛地運用到遊戲、影視、傳媒等領域。

圖源：Digital Domain

新世代的遊戲角色和影視角色將會令使用者刮目相看，我們會發現越來越多的影視作品開始注重高模擬角色的塑造。影視角色的背後是利用了實時“動捕”技術的真人動作替身演員，而虛擬場景中的高保真數字人正將演員的全部表情和動作都還原出來，這樣的技術可能會對未來影視行業帶來巨大變革。

時間是影響到團隊製片的重要因素，短時間內實時製作高度逼真的角色面部表演將大幅提高製作效率。Digital Human Group發現，使用攝像機以非常高的解析度捕捉面部動作不僅能返回更好的表演效果，還讓它們有機會運用人工智慧和深度學習使這一過程得到前所未有的改進。

圖源：忍者理論

玩家也在追求遊戲世界的高開放度和高保真度，近年來的3A遊戲更是不斷追求接近真實的物理渲染和精細的全域性光照。而對沉浸式VR遊戲中的玩家來說這不僅是全新的體驗，也會成為他們未來選擇遊戲的一個關鍵點。

在未來遊戲開發中，我們可能會看到在技術不斷進步的情況下，硬體和軟體兩方面互相結合，相互進步，不斷推動遊戲產業發展。遊戲的NPC或許會更加智慧，表情和動作將更有真實感。

數字人臉非常容易產生所謂的“恐怖谷”效應，只要他們的外觀稍有偏差，他們的面孔就會變得非常怪異僵硬。要製作以假亂真的數字人，面部捕捉技術方面的進步就成為了關鍵。觀眾能夠本能地知道真人的面部肌肉、面板和眼睛動起來是什麼樣的，這就使製作數字人面部動畫的過程顯得特別有挑戰性。

圖源：央視網

2021年兩會，在央視網特別策劃“兩會C+真探”系列直播節目中，虛擬小編小C“上崗”當天就成功與全國人大代表梁倩娟進行了線上直播對話，小C與梁倩娟代表的採訪全程自然，互動流暢，極大提升了連線採訪的趣味性。

高品質的實時渲染結合人工智慧驅動技術，改變了年輕受眾對傳統媒體的固有印象，也大大提升了兩會報道的科技感，數字人再度“破圈”。為新聞傳媒直播提供了全新的報道模式。

我們期待數字人技術能更加成熟，未來會陸續出現在更多領域。