使用Baby FaceReader自动分析婴儿情绪

面部表情分析对于理解人类情感和社会互动至关重要。由于婴儿尚未发育完善的语言沟通能力，需依靠非语言行为来表达他们的感受，分析婴儿的面部表情有助于研究者和照料者更多地了解情绪和社交互动的早期发展。因此，面部表情分析在针对婴儿的研究中更有价值。

而随着计算机技术的发展，走向自动化的行为分析逐渐势不可挡。这种趋势同样展现在对婴儿的面部表情测量中。诺达思的婴幼儿面部表情分析系统(Baby FaceReader)就是一个重要里程碑。

那么，Baby FaceReader的自动测量分析能力到底如何呢？

本文将带您解读Zaharieva和她的研究团队进行的Baby FaceReader与人工编码的情绪测量效果的对比评估。

为什么自动面部表情分析更好？

关注婴儿面部表情实时变化的情绪研究一直是发展科学的核心课题之一，这对更好地理解人类在婴儿期的情绪调节发展和非语言社会互动等问题具有重要意义。

传统上，研究者依靠人工观察并采用人工编码技术来探究情绪变化，而编码系统在用于描述面部表情所代表的情感分类程度上存在很大差异，且成人与婴儿之间有很大不同。目前全面的婴儿编码系统是Oster的婴儿动作编码系统(Baby FACS) ，它是基于解剖学的系统分类，以独立面部肌肉动作单元(Action Units, AU)的激活频率和持续时间进行分类，同时考虑到婴儿和成人在面部形态上的差异。动作单元的组合及其强度可以用来推断独立的情感状态。

然而，面部表情的人工编码是一个费时耗力的过程，程序上的差异以及主观因素可能会限制在不同研究中结果的可重复性。最新的计算机视觉技术在成人自动面部表情识别方面取得了实质性进展，为人工行为编码提供了一种功能强大且降低时间成本的替代方案。

同样，将自动测量方法应用于婴儿面部表情分析，不仅可以加快分析过程，还能提供具有更高一致性和客观性的数据结果，允许对婴儿在各种情景中的行为进行详细的在线和离线分析，这是很难用标准的人工编码技术获得的。此外，它使得获取大型数据库和复制早期研究变得更加容易。因此，自动面部表情分析的发展为情绪测量研究带来了重大飞跃。

技术创新：Baby FaceReader

婴幼儿面部表情分析系统(Baby FaceReader)是自动面部表情分析领域的一个重要里程碑。它专门用于研究婴幼儿面部表情，可自动分析6-24个月婴幼儿的面部表情。软件基于婴儿面部动作编码系统(Baby FACS)开发，采用先进的算法和机器学习技术定位并分析人脸，使用卷积神经网络(CNN)来识别和解释各种面部动作单元(AU)。

Baby FaceReader使用 AU 来计算整体情绪效价。通过这种方式，软件可以检测面部表情的细微变化，从而提供对婴儿情绪状态的细致入微的洞察。与容易产生主观误差的人工编码不同，Baby FaceReader提供了一种理解面部表情的标准化方法。

然而，在将这种方法可靠地引入婴儿研究之前，需要对其可靠性和有效性进行评估。之前没有研究将其性能与人工编码的婴幼儿面部表情数据进行比较，因此，研究者在先前的工作基础上，比较了4个月和8个月大的婴儿在自然状态下面对面互动期间的面部表情分别通过Baby FaceReader的自动编码和人工编码的结果，详细地探讨了其可靠性和有效性。

Baby FaceReader VS人工编码

Zaharieva和她的团队共观察了 58 名婴儿在4 个月和 8 个月时与不同照护者（母亲、父亲与陌生人）进行2分钟面对面自然互动的过程(图1)。在生命的早期阶段，面部表情的发展变化很快。因此，这是研究情感交流的理想时期。

图1

4个月/8个月时的视频录制设置:交互视图(A/B)

研究者主要关注Baby FaceReader分辨积极、消极和中性面部情绪表达的能力，因为准确解读这些细微差别对于发展心理学至关重要。对于人工编码，是使用The Observer XT 进行的。

面部表情以四类进行人工编码:

1)积极：微笑(AU12)，嘴巴张闭(AU25, AU26, AU27)，脸颊提升(AU6)等;

2)消极：包括皱眉、哭泣，即眉毛内角抬起(AU1)、嘴角拉伸(AU20)、眉毛下垂(AU3 + AU4)、眼睑紧收(AU7)、下唇抬起(AU17)等；

3)中性：没有看到肌肉运动，也没有看到肌肉运动表明情绪的面部表情;

4)不可见：当面部被遮挡或失焦时。

原始动作单元的输出结果表示从低到高的连续动作单元强度，范围在[0-1]。整体情绪效价结果表示面部表情从消极到积极的情感强度，范围在[-1-1]。

识别积极情绪具有更高的精准性

研究结果提供了不同的见解（表1）。与人工编码的面部表情相比，Baby FaceReader在区分积极表情与消极或中性表情方面表现出较高的准确性(AUC=0.81; PA=0.84; NA=0.67)。然而，它在区分消极和中性表达方面的表现仍存在挑战(AUC=0.49; PA =0.69; NA =0.14)。

表1

因此，研究者探究了特定动作单元在区分积极、消极和中性表达方面的表现。结果发现，自动检测的微笑(AU12)在区分积极表情和消极或中性表情方面表现较好(NA=0.69) (图2)；自动检测的眉毛下垂(AU3 + AU4)，能够良好地区分消极和中性的面部表情(AUC=0.79) (表2)；自动检测的嘴角拉伸(AU20，是婴儿哭泣脸的核心面部动作肌肉)在区分消极和中性的面部表情表现较好(AUC=0.70)。这些结果为应用Baby FaceReader的AU12和AU3+AU4(可能还有AU20)在婴儿面对面互动中区分积极和消极的面部表情提供了实证验证。

图2                                    

表2

利用 Baby FaceReader推进婴儿研究

过去十年中，在开发测量婴儿面部表情的自动化技术方面取得了实质性进展。有效的婴儿面部表情的自动测量依赖于对面部动作及其情感意义之间关系的理论性理解和系统化实践。例如，识别负性情绪的面部表情仍具挑战性，因为婴儿在表达较低强度的负性情绪时不会使用一套一致的动作单元。因此，动作单元自动检测算法至关重要，需要持续研究。

在发展心理学和儿科护理中引入自动面部表情分析是向前迈出的重要一步。这项技术为婴儿情绪表达的发展提供了新的见解，它将帮助我们更好地理解早期人类情感和交流是如何发展及变化的，从而为发育障碍提供更明确的护理和治疗的理论基础和实践路径。

参考文献

Zaharieva, M.; Salvadori, E.; Messinger, D.; Visser, I.; Colonnesi, C. (2024). Automated facial expression measurement in a longitudinal sampleof 4 and 8montholds: Baby FaceReader 9 and manual coding of affective expressions. Behavior Research Methods.

关注诺达思公众号，联系我们获取更多产品信息及学术文章！