面由心生，由臉觀心：基於AI的面部微表情分析技術解讀

本文為大家帶來的演講主題是“ 面由心生，由臉觀心 ”，將主要分享如何快速實時且精準檢測並識別面部情緒。

俗話說“面由心生”，意思是如果你心理有情緒，我們一般能夠從你的臉上觀察到，這種技術可以說是“由臉觀心”，是一種基於面部的AI情緒識別技術。

本文主要覆蓋四部分內容：

• 微表情定義和意義。

• 微表情研究面臨的挑戰。

• 微表情的現狀和進展。

• 現有的資料庫（各自的優缺點）、微表情的特徵、檢測演算法、識別演算法、應用、已有方法比較、未來可能的研究方向展望。

WAVE SUMMIT+2021深度學習開發者峰會

【科技創新，女性力量】論壇

一、微表情的定義和意義

什麼是面部表情？

它是指我們肌肉下面有一處或者多處運動變化，表達人類情緒的一種面部運動狀態。面部表情是我們資訊交流跟情感傳遞的一種重要手段。

傳統意義上說的面部表情，實際上指的是巨集表情，基本上分六類，有、悲傷、、厭惡、恐懼等等。因為它受意識的控制，所以它可以掩蓋內心的真實情緒，是可以通過偽裝而表達出來的。

心理學家艾克曼教授團隊對這種面部表情進行了編碼，即人臉運動編碼系統。這套系統把人臉面部表情運動的描述方式抽象成一些基本的人臉形變單元，比如把“高興”面部表情拆解，會對應“圈眼輪匝肌外收緊；臉頰擡升......”等描述。對於不同的情緒，人臉的各個面部表情最終被對應到相應AU組合中。我們以“高興”為例，它實際上是AU6跟AU12的結合。

表情是人類情緒的外在反映，它一定能夠做到心神合一嗎？不一定。

微表情相對錶情有什麼意義？

1969年，艾克曼教授和他的團隊，在心理醫生和抑鬱症患者的交談錄影中發現，患者Mary在整個視訊中情緒表現得非常積極，因為她試圖通過積極的情緒欺騙醫生，讓醫生允許她出院。但當我們去慢看視訊時，會發現視訊中有幾幀暴露了Mary的真實情緒，她想自殺。

艾克曼和團隊給這種真實情緒起了一個名字，叫微表情。微表情是一種持續時間短，運動幅度小的表情。它試圖掩飾自己真實情緒，卻不自覺暴露在人臉肌肉上。

由此可知微表情跟表情是有關係的，微表情不但不受思維意識控制，而且持續的時間非常短，人的意識還沒有來得及去控制它，就已經被暴露出來，所以它一定是真實情緒的反應。正是由於微表情的這個特點，它在刑偵、安全、司法、談判等領域都有非常重要的應用。

二、微表情研究面臨的挑戰。

微表情的發展歷程是怎樣的？

第一是微表情的識別，它最開始是通過人工訓練的，大概訓練一個半小時，可以提高到30%-40%的準確性，但心理學家論證了人工識別最高不會超過47%。後來隨著心理學實驗逐漸演進到計算機應用上面，微表情有了AU組合，如果是高興，巨集表情的高興是AU6+AU12，微表情是AU6或者是AU12，或者是AU6+AU12。

第二是微表情運動，它是區域性的肌肉塊運動，而不是兩個肌肉塊同時運動，比如高興，運動的是AU6或者是AU12。但如果強度比較大，可能會出現AU6和AU12同時發生的情況。另外巨集表情和微表情有一些聯絡，就是微表情的AU可能是巨集表情AU的子集。

巨集表情、微表情有什麼區別？

微表情不容易被覺察，而巨集表情非常容易被覺察；微表情的持續時間非常短，介於0.065秒到0.5秒之間，但是巨集表情的時間相對長一些，介於0.5到4秒之間；微表情的幅度變化非常小的，但巨集表情變化非常大；微表情不受人的意識控制，但巨集表情是可以控制的；微表情涉及到人臉面部的運動單元更少一些，但是巨集表情可能涉及到更多的區域。

微表情的特點有那些？

微表情的特點是持續的時間非常短、運動幅度的變化較小、難以掩飾和抑制，因此它經常容易被人所忽略掉。既然人容易忽略微表情，那麼我們可以藉助計算機輔助手段來解決這些問題，比如用一個高速攝像機對著待測者的臉，讓計算機把影象一幀一幀儲存起來。

三、微表情的研究現狀和進展

在我們團隊建立MMEW資料庫之前，針對微表情的研究，缺乏一些特別大的公開資料庫，最大的資料庫也僅有247個樣本，且它的影象解析度不高。 

對此我們進行了優化，一方面從人員的數量上進行了優化升級，人臉解析度和影象的解析度儘量做大。另一方面對於人表情情緒的分類，做到了更精確，同時樣本的均衡性要比其他的庫好。最後，我們釋出的一個數據集MMEW，它包含同一個人的巨集表情和微表情的樣本，這是現有的資料庫做不到的。

四、現有的資料庫、微表情的特徵、檢測演算法、識別演算法、應用、已有方法比較、未來可能的研究方向展望。

如何建立資料庫？

在收集資料前，我們要誘發微表情的產生，因此要給待測者看一些心理學家論證好的刺激源，這些小的刺激源持續時間非常短，要保證待測者的注意力十分集中。在他們產生表情之前，我們要讓待測者保持一種平靜的情緒，相當於面部沒有肌肉變化，一旦受到刺激以後，面部就會有一些刺激，我們讓待測者描述受到刺激時他是什麼樣的情緒，然後我們對這個圖片會一幀一幀觀察，最後形成MMEW資料集。

收集好資料，接下來要對資料集進行標註。因為要給情緒標籤，所以我要知道到底哪些AU發生了變化，從而給變化的AU打一個標註。且微表情是一個時間的持續概念，所以我還要標註出它發生的開始時刻、結束時刻以及高潮時刻。

微表情有什麼特徵?

微表情的特徵，是由原始視訊特徵，提取一些描述，最終送到檢測器或分類器。

現在較好的微表情特徵分成這樣幾類，有時空域特徵、頻域特徵、光流特徵，深度學習特徵。

深度學習特徵，它是一種黑盒模型，我們需要研究它的可解釋性的問題。對於這種光流特徵，目前比較主流的方法是主方向的光流的平均特徵，叫MDMO。獲取它不同的稀疏特徵係數，最後送到SVM分類器裡面。深度學習這個方法也有對空間和時間上進行處理，得到時間性的連線模型還有時空模型，這是一個迴圈卷積網路進行微表情識別的工作。還有動態的成像系統來做微表情識別的深度學習方法。

微表情有那些檢測演算法？

我們說微表情檢測有兩種方法，一個是detection，它是檢測有沒有微表情發生；一個是spotting，它是除了檢測微表情有沒有發生，如果有發生，還要標註出來微表情發生的起始時刻、終止時刻、高潮時刻。

這兩種方法容易受到一些閾值的干擾，這些閾值要進行手工調，非常耗時。識別的方法有傳統的分類器SVM、極端學習機、K近鄰，還有深度學習模型、遷移學習模型。

因此我們提出了一種新的微表情檢測方法，首先要找到一些特徵點，然後在實驗中我們發現標註出來的區域是最感興趣的區域，最後計算感興趣區域裡面的光流。

如果是微表情，它的幅度有一定的高度，角度是恆定的。我們把它轉成極座標系，可以發現這部分點對應微表情的特徵，如果這部分點在單位圓以內，代表它的變化幅度非常小，可以理解為沒有表情；如果這部分點在圓以外，我們看它的角度實際上是變化的，那麼這個黑色的點對應的就是巨集表情。

用這個方法就可以區分微表情、沒有表情、巨集表情，也可以用這種方式來做微表情的檢測。我們還提出了不同的決策準則，比如有積極的準則，有保守的準則，最後在公開的資料庫上，該方法得到了非常好的效能。

和已有方法的比較，微表情識別演算法評估的優勢有那些?

我們對現有的一些影象預處理的方法，進行了評估，發現跟傳統的機器學習方法對比，光流的方法能最好的識別效能。

我們還對比了傳統的機器學習方法和深度學習機器方法，發現後者更有優勢的，但是它需要去考慮可解釋的深度學習。

微表情未來可能的研究方向有那些？

首先仿照人臉識別，我們認為未來微表情識別，也是需要保護隱私的。

其次我們可以去遷移一些相關領域的知識，比如說巨集表情和微表情比較相近，那麼能不能把巨集表情的特徵遷移學習到微表情識別呢？這將是一個值得學習的方向。對於資料集，現在我們團隊有一個800多個樣本的庫，可即使把所有可獲取的微表情樣本全部加到一塊，還是非常小。

最後，因為微表情在採集的時候是通過高速攝像機，所以從網上搜索的一些資料滿足不了這個幀頻，只能夠通過採集的方式獲取。我們可以採用眾籌的方式，把的資料集做的更標準化一些。還可以採用生成技術，進行一些微表情的生成，幫助我們更好的去識別微表情。

因為現在深度學習比較熱，所以我們需要做可解釋的微表情識別。