如何通过面部表情识别攻击性驾驶行为？

尽管交通事故的原因很复杂，但主要原因是攻击性驾驶行为。而其中，驾驶员的情绪状态与驾驶行为密切相关。

司机在不同驾驶行为下的情绪是如何变化的？

能否通过情绪波动提前识别危险的驾驶行为？

来自东南大学的研究团队就探讨了网约车司机在攻击性驾驶和正常驾驶时的情绪变化模式（Ma et al.,2024），为研究情绪与驾驶行为之间的关系提供了一种新的途径，为高级辅助驾驶系统提高驾驶安全性提供了驾驶员情绪感知和情绪波动检测的重要参考和指导。

情绪与驾驶行为

交通系统由道路使用者、车辆和道路组成，尽管交通事故的原因很复杂，但主要原因之一是攻击性驾驶行为。影响驾驶行为的最重要因素之一是驾驶员的情绪状态。

驾驶车辆是一项复杂的任务，驾驶员可能会因周围环境的刺激而分心。驾驶员的情绪状态可以直接或间接地决定其驾驶行为，由此产生积极或消极的影响。过往大多数研究都在探究特定负面情绪，如愤怒、焦虑、恐惧等对驾驶行为的影响。愤怒可能导致驾驶表现下降，并导致驾驶员超速行驶或其他不安全驾驶行为。例如有研究表明，当司机生气时，他们倾向于更晚、更用力地踩刹车（Zhang et al., 2016）；对自然驾驶状态下的数据分析表明，由愤怒引起的危险驾驶通常是故意的，而不是由于认知错误，并且随着驾驶员愤怒强度的增加，会发生更多的驾驶违规行为（Precht et al, 2017）。

一般来说，情绪可以分为两个维度：（1）效价（valence），表明情绪状态是积极的还是消极的；（2）唤醒（arousal），表明主体是活跃的还是不活跃的。相较于关注独立的离散情绪，从情绪的维度角度更能从根本上解释情绪和行为之间的关系。Taubman-Ben-Ari（2012）研究表明，高唤醒的积极情绪会促进鲁莽驾驶，而低唤醒的积极情绪则相反。这表明情绪的两个维度对驾驶行为的影响是不同的。

如何测量驾驶行为中的情绪变化？

基于不同情绪可引起不同生理变化的理论，生理信号可用于情绪识别。但是采集生理数据的设备往往需要与驾驶员接触，从而致使分心，进而影响驾驶行为。除了生理信息外，面部表情等行为数据也可用于识别驾驶员的情绪（Xiao et al ., 2022）。有研究将面部表情数据与生理信号相结合，以识别驾驶员的实际情绪状态（Oh et al., 2021）。与获取生理信号的复杂过程相比，面部表情数据的获取只需要简单的仪器。此外，非接触式的测量方法减少了因触碰而产生的潜在干扰。因此，通过面部表情来检测驾驶员的情绪状态具有显著的优势。

此外，大多数研究都基于特定的静态情绪，缺乏对情绪波动的考虑。而在现实情景下，驾驶员的情绪是根据刺激而不断变化的，因此仅仅通过自我报告和情绪诱导的方法测量情绪变化都存在过于主观的的缺陷。

因此，本研究引入一个新的框架来分析不同驾驶行为的情绪波动差异。首先考虑情绪的不稳定性，分析了情绪波动对驾驶行为的影响；其次，对情绪的描述关注两个维度，即效价和唤醒度。通过分析驾驶员在真实驾驶过程中的面部表情视频，得出这两个指标数据，构成实时、真实的数据集。最后，基于聚类方法得到的不同驾驶行为的情绪变化模式。这些模式可以用于在线监测司机的情绪变化，从而提供给司机必要和及时的警告，减轻与情绪相关风险行为。

网约车司机的真实驾驶实验

实验共招募16名网约车司机，平均年龄为36.38岁，驾驶经验范围为4 ~ 25年。

实验选择在驾驶员的正常工作时间进行测试，有利于驾驶员迅速进入正常的驾驶状态。实验设备包括VBOX- IISX10 GPS和双摄像头（前置和后置），分别安装在车辆前仪表盘和挡风玻璃上（图1），以测量高精度的车辆运动学数据，如位置、速度、加速度等，以及记录司机的面部表情。使用诺达思的面部表情分析系统（FaceReader）分析司机的面部表情以获得情绪数据（Iridiastadi, 2019）。

图1 数据采集设置

FaceReader在检测到面部后，会基于面部动作编码系统（Facial Action Coding System，FACS）和活动外观模型（Active Appearance Model，AAM），描述面部500多个关键点来生成准确的面部三维模型。最终使用训练好的人工神经网络对面部表情进行分类。

使用FaceReader分析面部表情，可以获得六种基本情绪：快乐、悲伤、生气、惊讶、害怕和厌恶，以及中性情绪。平均准确率为99%。此外，FaceReader可以测量20个最常见的面部动作单位（Action Unit, AU），以0 ~ 1的取值表示其强度，以此获得实时效价和唤醒度数据。效价的计算为快乐情绪强度减去强度最高的负面情绪强度，唤醒度的计算基于表1所示的20个动作单元的激活值。

表1

对于攻击性驾驶行为的识别，参考过往研究使用VBOX采集的车辆运动学数据中的速度、纵向加速度（急加速或急制动）和横向加速度（急变车道和急转弯）的阈值来检测。

由于车辆运动学数据和情绪数据采用相同的采样频率，因此可以基于时间戳对两类数据进行匹配。

整个研究以图2所示分析框架进行，用于分析攻击性驾驶和正常驾驶下情绪波动的差异。首先，该框架使用动态加速（横向和纵向）阈值来识别攻击性驾驶行为；然后，通过分析攻击性驾驶行为的情绪数据特征来确定时间窗口；最后，通过聚类分析不同驾驶行为的情绪效价和唤醒波动。

图2 用于分析情绪波动的框架

消极效价与高唤醒度增加攻击性驾驶行为

（一）攻击性驾驶行为识别结果

研究在16名司机中发现了303种攻击性驾驶行为。提取其发生前后15s的数据，为了避免数据重复，两个提取的攻击性驾驶样本至少间隔一分钟。结果如图3，可以看到基于横向和纵向加速度阈值的攻击性驾驶和正常驾驶的识别结果。

图3 驾驶员在一个工作日的攻击性和正常驾驶行为识别

（二）攻击驾驶行为的情绪波动时间窗

以攻击性驾驶前后15 s为情绪波动序列长度进行分析，可得以下结果（图4）：从攻击性驾驶行为发生前的第6秒开始，平均唤醒度持续上升，直到攻击性驾驶行为发生时达到最高值；攻击性驾驶行为发生后，平均唤醒度呈下降趋势。这表明，情绪唤醒的持续增加是一种心理变化，往往会促进攻击性驾驶。攻击性驾驶发生后，心理状态逐渐平静下来。此外，司机的情绪效价在攻击性驾驶前后的6秒内波动剧烈。因此，本研究结果提示攻击性驾驶发生前6秒的情绪波动与攻击性驾驶的发生有着本质的关系。

图4 攻击性驾驶行为中情绪平均值

（三）攻击性和正常驾驶时的情绪差异

对效价和唤醒度进行聚类分析，将效价波动分为积极、平静和消极，唤醒波动分为高度和低度。结果表明，在正常驾驶和攻击性驾驶中，驾驶员的情绪变化存在差异。当驾驶员处于消极情绪效价时，其在攻击性驾驶行为前中后期的平均消极程度高于正常驾驶的，且当处于积极情绪效价时，驾驶员在攻击性驾驶行为前中后期的平均积极程度低于正常驾驶的。

这表明情绪效价对驾驶行为有影响。较低的消极效价增加了攻击性驾驶行为的可能性，即负面情绪会促进攻击性驾驶；较高的积极效价降低了驾驶员攻击性驾驶意图的可能性。这与过往研究结果一致。然而，在积极情绪对驾驶行为的影响方面，过往研究存在不一致的观点。本研究结果表明，积极效价的强度对驾驶行为产生不同的影响。在较高的积极效价强度下，驾驶员可能表现出更高的内在动机和更高的安全意识。然而，积极情绪对驾驶行为影响的内在机制有待进一步探索。

图5 不同驾驶行为的效价和唤醒度聚类结果

(a/b)效价（攻击性驾驶/正常驾驶），(c/d)唤醒度（攻击性驾驶/正常驾驶）

图5显示了驾驶员在攻击性驾驶和正常驾驶前后6秒情绪波动时间窗内的效价与唤醒度变化。结果显示，驾驶员在积极、消极和平静状态下都可能表现出攻击性驾驶行为。与正常驾驶相比，攻击性驾驶行为发生前6秒内驾驶员情绪效价波动更大，尤其是处于积极情绪状态时（图5a，图5b），即情绪不稳定会增加司机攻击性驾驶的可能性。攻击性驾驶行为的唤醒度均高于正常驾驶时的唤醒度（图5c，图5d），即高唤醒度会增加攻击性驾驶的可能性。结果均表明，即使是相同的效价值和唤醒度也会对驾驶员的驾驶行为产生不同的影响，因此只关注静态情绪的研究是不合理的，必须考虑动态情绪对驾驶的影响。

关注动态情绪波动以准确识别驾驶行为意图

本研究从微观角度分析了驾驶员情绪波动与驾驶行为之间的关系，获得了攻击性驾驶和正常驾驶的情绪变化模式。通过获取真实驾驶情景下的驾驶数据和面部表情数据，获得了更真实可靠的情绪数据。通过分析攻击性驾驶行为发生前、中、后的情绪数据，发现攻击性驾驶行为发生前6秒驾驶员情绪变化与攻击性驾驶行为发生的相关性更高。此外，与正常驾驶相比，攻击性驾驶时驾驶员情绪效价波动更大，处于更负性的情绪状态，且情绪唤醒度更高。

未来研究应考虑更多的测试场景以及更多的被试，提供更大的样本，从具体驾驶事件、驾驶员性别和个体差异的角度研究情绪波动与攻击性驾驶之间的关系，以及设计更精准的实验来探究环境、情绪与驾驶行为之间的因果关系。

本研究结果对驾驶员行为监测和驾驶辅助预警系统的改进具有重要的理论价值和现实意义。这为驾驶员情绪状态检测提供了一种新的方法。考虑驾驶员情绪的动态波动，可以更准确地识别驾驶员的驾驶行为意图。通过动态时间窗实时检测驾驶员的情绪波动并提前警告驾驶员，可以减轻潜在的危险驾驶，从而提高道路安全。此外，驾驶员的情绪波动水平可以作为指标纳入JZ考试，对容易出现不良情绪波动的驾驶员进行培训和指导。

参考文献

• Iridiastadi, H. (2019). Fatigue-related differences in human facial dimensions based on static images. IOP Conf. Series: Mater. Sci. Eng. 528.

• Ma, Y., Xing, Y., Chen, S., & Wu, Y. (2024). Investigating emotion fluctuations in driving behaviors of online car-hailing drivers using naturalistic driving data. Travel Behaviour and Society, 36, 100819. 

• Oh, G., Ryu, J., Jeong, E., Yang, J. H., Hwang, S., Lee, S., & Lim, S. (2021). Drer: Deep learning–based driver’s real emotion recognizer. Sensors, 21(6), 2166.

• Precht, L., Keinath, A., & Krems, J. F. (2017). Effects of driving anger on driver behavior–Results from naturalistic driving data. Transportation research part F: traffic psychology and behaviour, 45, 75-92.

• Taubman-Ben-Ari, O. (2012). The effects of positive emotion priming on self-reported reckless driving. Accident Analysis & Prevention, 45, 718-725.

• Xiao, H., Li, W., Zeng, G., Wu, Y., Xue, J., Zhang, J., ... & Guo, G. (2022). On-road driver emotion recognition using facial expression. Applied Sciences, 12(2), 807.

• Zhang, T., Chan, A. H., Ba, Y., & Zhang, W. (2016). Situational driving anger, driving performance and allocation of visual attention. Transportation research part F: traffic psychology and behaviour, 42, 376-388.