嬰幼兒面部表情分析系統(tǒng)

嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader):是一款自動(dòng)分析嬰幼兒(6-24月齡)面部表情的專業(yè)軟件。該系統(tǒng)依據(jù) Oster的嬰幼兒面部運(yùn)動(dòng)編碼系統(tǒng)(Baby FACS)來分析其面部表情，然后基于AAM模型(主動(dòng)外觀模型)得出相關(guān)表情參數(shù)。

為何要使用Baby   FaceReader

面部表情能反映出許多有價(jià)值的信息，特別是嬰幼兒。目前對(duì)嬰幼兒的相關(guān)研究需求越來越多，而用于成人面部表情分析的工具又不適用于嬰幼兒，需要專業(yè)的研究分析工具對(duì)行為反應(yīng)、表情等進(jìn)行量化分析。

研究需求的逐步增加是催生嬰幼兒面部表情分析系統(tǒng) (Baby FaceReader)誕生的加速劑。除此之外，嬰幼兒本身的一些特性也決定了要使用嬰幼兒面部表情分析系統(tǒng)對(duì)其表情進(jìn)行分析：

• 嬰幼兒的頭部比較小；
• 嬰幼兒可見眉毛較少/甚至沒有；
•  嬰幼兒皮下脂肪較厚，導(dǎo)致對(duì)其面部單元活動(dòng)的解釋比較困難；
• 嬰幼兒無法通過語言表達(dá)他們自身的感受，表情是真實(shí)的反映。

因此，該系統(tǒng)是目前測(cè)量嬰幼兒面部行為的全面、專業(yè)的軟件，能夠詳細(xì)描述和分析嬰幼兒面部動(dòng)作單元的活動(dòng)，是研究影響與發(fā)育障礙相關(guān)的發(fā)展心理學(xué)問題的有利工具。

關(guān)于嬰幼兒基本面部表情的分類，學(xué)術(shù)界目前尚有爭議。 而關(guān)于正、負(fù)情緒的劃分已達(dá)成共識(shí)。因此，嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)不對(duì)其基本情緒進(jìn)行劃分，但對(duì)引起相關(guān)情緒的面部動(dòng)作單元可進(jìn)行詳細(xì)分析。

系統(tǒng)特性

• 非接觸性數(shù)據(jù)采集及分析，保證數(shù)據(jù)的客觀性； 
• 采用標(biāo)準(zhǔn)的嬰幼兒面部動(dòng)作編碼分析；
• 適用于6-24月齡的嬰幼兒；
• 可分析頭部朝向、面部狀態(tài)及面部單元?jiǎng)幼鳎?/li>
• 可分析情緒效價(jià)、喚醒度和情緒環(huán)狀模型；
• 支持自定義表情分析；
• 可添加心率模塊(RPPG)和校準(zhǔn)模塊。

應(yīng)用范圍

嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)能夠?yàn)檠芯刻峁┮恍┝炕臄?shù)據(jù)，應(yīng)用范圍及其廣泛，主要體現(xiàn)在以下 幾大方面：

• 通過嬰幼兒對(duì)口味、氣味及其它感官刺激的反應(yīng)，對(duì)嬰幼兒食物偏好進(jìn)行探討；
• 感官研究等； 
• 有助于分析認(rèn)知-信息加工過程，檢測(cè)自然環(huán)境或者實(shí)驗(yàn)環(huán)境中父母-嬰幼兒交互時(shí)，嬰幼兒的情感表達(dá)行為；
• 研究嬰幼兒面部表情的變化和穩(wěn)定性；
• 能夠幫助解決影響與發(fā)育障礙相關(guān)的發(fā)展心理學(xué)問題，如自閉癥譜系障礙(ASD)和注意力缺陷多動(dòng)障礙 (ADHD)等。

食物偏好研究具體案例 

該研究是對(duì)嬰幼兒面部表情分析系統(tǒng)的個(gè)驗(yàn)證結(jié)果。研究主要探討了與食物偏好(AU1,4,7,9,10,15,18,26/27)、笑 (AU6,12)、哭(AU20)、睜大眼睛(AU5)和下巴抬起(AU17)相關(guān)的面部動(dòng)作單元活動(dòng)情況。

基于AAM模型(主動(dòng)外觀模型)，研究人員采用了高質(zhì)量的嬰幼兒圖片對(duì)面部動(dòng)作單元進(jìn)行分析，經(jīng)過去重之后， 終有74張圖片。

圖一為較好的AAM模型擬合效果與完 美AAM模型擬合效果的對(duì)比

表一為不同面部單元的頻數(shù)分布

表二是AAM模型 擬合效果的面部動(dòng)作單元的準(zhǔn)確率(Accuracy)、召回率 (Recall)、率(Precision)、F1值(F1Score)、面部動(dòng)作編 碼一致性(FACS Agreement Score)分析(n=29)。其中準(zhǔn)確率、召回率、F值是目前機(jī)器學(xué)習(xí)等建模之后對(duì) 模型效果進(jìn)行評(píng)價(jià)的常用指標(biāo)。

圖二是74張圖片不同面部 動(dòng)作單元和兩種模型擬合效果的F1值

以上數(shù)據(jù)表明，AAM模型擬合能更好地描述面部動(dòng)作單元的動(dòng)作。換言之，也驗(yàn)證了嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)可用于食品偏好、感官研究等，是進(jìn)行嬰幼兒面部動(dòng)作單元分析的有利工具。

參考文獻(xiàn)

1、Maroulis, A.; Spink, A.J.; Theuws, J.J.M.; Oster, H. & Buitelaar, J. (2017). Sweet or sour. Validating Baby FaceReader to analyse infant responses to food. Poster presentation 12th Pangborn Sensory Science Symposium, 20-24 August, 2017.

2、Oster, H. (2005). The repertoire of infant facial expressions: An ontogenetic perspective. Emotional development, 261-292.

3、Oster, H. (2016). Baby FACS: Facial Action Coding System for infants and young children. Unpublished monograph and coding manual. New York University.