微笑模仿：让人与虚拟人互动更加顺畅

社交互动，是人类作为社会性动物所必须进行的行为活动。
在你来我往的互动中，我们会有怎样的行为表现？

现在，您可以回想一段与他人互动的经历并思考以下问题：

当您与他人互动时，会下意识地模仿对方的行为吗？
当您希望互动更加顺畅时，会不会随对方的点头动作而点点头？
当您与他相谈甚欢，对他抱有好感与信任时，会不会随他一起微笑？


其实，在社会交往中人们经常无意识地模仿对方的行为以增进互动，这可能发生在运动层面(如微笑或头部运动)，也可能发生在自主神经层面(如瞳孔扩散)。而随着虚拟与现实的边界逐渐模糊，我们的社交对象也发生着变化。与虚拟人物的一场社交互动，就悄然在生活的各个场景中进行。

那么，当我们的互动对象是一个虚拟人物时，这些模仿行为还会发生吗？对于这种虚拟社交，“社恐"们会有不同的行为表现吗？

来自于《International Journal of Human Computer Studies》的最新研究，或许能给您带来一些答案与思考。研究旨在探讨人与虚拟人的社交互动中模仿行为表现，研究团队通过让人与虚拟人互动，探索模仿行为、人际感知和社交焦虑水平之间的关系，使用多模态实验研究，探究了人们模仿虚拟人行为的程度，模仿是否有利于互动，以及模仿是否受到社交焦虑水平的影响(Fasya et al.,2024)。


“学人",是为了更好地互动
在社会交往中，人类通过语言和非语言来交流信息。非语言指通过面部表情和肢体语言来分享意图和情绪，或以生理唤醒表现。通常情况下，情绪表达会被观察者无意识地模仿，这同样可能发生在不同层面，如运动层面(如微笑或头部运动)或自主神经层面(如瞳孔扩散)。人体姿势或面部表情的模仿是由运动肌肉控制的，而生理唤醒的模仿是由自主神经系统（ANS）控制的。


根据情绪感染的神经认知模型(Prochazcova and Kret, 2017)，模仿始于一个人在社会互动中表达的情绪被互动对象感知，触发了互动对象自己的情绪表达，从而导致运动层面(如微笑或头部运动)或自主神经层面（如瞳孔扩张）的模仿。由于自主神经层面的模仿是由ANS调节的，所以与运动层面的模仿相比，其控制难度要大得多。因此，它可以提供更多关于被模仿情绪的感知强度或真实性的信息。

事实证明，在社会互动中，模仿通常与喜欢和信任的增加有关，而且往往会使互动者之间的关系更加融洽，与信任增加等亲社会行为有关 (Kret et al, 2015)。


人类与虚拟人互动，也会互相模仿吗？
在模仿行为的研究中，对情绪表情的模仿的通常使用照片、视频，或直接与真实的人类进行现场互动，创建二元互动的场景。而在某种程度上，感知他人的情绪并对其做出反应可以独立于互动环境而发生。虽然研究真实的二元互动是生态效度的方法之一，但也存在很难控制变量的问题。

将虚拟人运用到社交场景中，可以产生一种“中间立场"，以控制实验并提高生态有效性。例如，通过使用虚拟人作为模仿者，可以确保虚拟人只在特定时间内表达特定类型的行为，同时提供一个紧密复制现实社会互动的环境。

而随着虚拟与现实边界的逐渐模糊，人与虚拟人之间的互动在不断增加，许多领域都涉及与虚拟人进行社交互动的场景，如虚拟教练，医疗保健或虚拟援助等。

因此，我们需要进一步关注人类与虚拟人的互动行为：
模仿行为在人类与虚拟人互动中仍然会发生吗？
模仿行为在虚拟互动中会产生怎样的亲社会效应？

过往研究较多在探讨虚拟人模仿人类是如何影响社交互动的，对于人类模仿虚拟人对社交互动的影响的研究，结果表明，在运动模仿层面，当虚拟人微笑时，人们会表现出更多的微笑(Mattheij et al, 2015)和更长时间的微笑(Kramer et al, 2013)；Stel等人(2010)的研究表明，人们模仿虚拟人的头部运动比模仿其嘴部和眉毛运动更多。然而，在他们的研究中，被试是处于两种特定的行为选择下行动的，即要么模仿，要么不模仿。因此，没有提供人与虚拟人互动中自主模仿的有效信息，关于社交互动中自主模仿的研究问题仍需探索。

因此，基于过往研究，研究团队想要进一步探究社交互动中人们模仿虚拟人行为的程度，以及模仿是否有利于互动，以此提出以下问题：

（1）人们是否会在在运动(头部运动和微笑)和自主水平(瞳孔扩张和脸红)模仿虚拟人的面部表情? 

（2）模仿行为是否与人们对虚拟人的喜爱和信任感增加有关？



社交焦虑会改变模仿行为？
虽然模仿行为通常具有亲社会效益，并且在社交互动中经常观察到，但在高社交焦虑水平的人群中，模仿行为似乎会有所改变。

社交焦虑症被定义为在一个或多个社交场合中，面对不熟悉的人或可能受到他人审视时的持续恐惧。最近在对不同国家的年轻人进行的调查研究发现，多达三分之一的人报告自己存在一定的社交焦虑，这表明社交恐惧在年轻人中尤为普遍。社交焦虑会影响一个人在社交场合的行为，往往使得社交互动无法顺利进行。因为他们坐立不安，更频繁地寻求安慰，且微笑的互惠性较差。此外，他们经常表现出安全行为，如避免目光接触，较少说话，不分享个人信息。采取这些行为是为了避免给人留下负面印象，但往往适得其反。

高社交焦虑水平的人通常表达能力较差，对他人情绪表达的瞳孔反应较小，更容易脸红。此外，研究表明，社交焦虑个体的模仿行为可能会发生改变。有研究发现，具有较高社交焦虑的女性会更少模仿虚拟人的头部动作，也有研究发现相反的结果，即高社交焦虑者会增强对微笑的模仿；这些研究均表明，模仿行为可能会受到社交焦虑的调节。这种影响可从两个角度解释：首先，社交焦虑者对互动对象情绪表达的感知可能会有所不同，进而影响模仿行为；其次，社交焦虑者对互动对象动作模仿的减少或增加可能是一种避免拒绝或冲突的行为策略，类似于实施一种安全行为。

继续探究社交互动中自主性的模仿行为，我们可以更好地理解是什么原因导致社交焦虑者的模仿行为发生改变。因此，本研究同时想要探究：模仿行为是否受到社交焦虑的调节?


多模态社交互动行为实验
实验共招募65名被试(53名女性，12名男性)，年龄为18-39岁(M=22.4;Sd = 3.92)。

在实验开始前，被试需要填写社交焦虑问卷(LSAS)，然后阅读投资游戏说明进行练习，并在右脸颊佩戴皮肤温度传感器。随后指导被试戴上耳机，坐在显示屏前进行眼动校准，进入实验任务：分别观看10个虚拟人在电脑显示器上讲述一个中性的故事。在预定的时间点，虚拟人会表现出四种表情和动作:微笑、头部运动、瞳孔扩张和脸红。此过程中，全程使用诺达思 The Observer XT 记录被试的行为与动作。在每个故事结束后，被试填写虚拟角色评价问卷（AEQ）、未来互动意愿量表(DFI)以评估他对虚拟人的好感度，并完成一个投资游戏来衡量他对虚拟人的信任程度。

• 虚拟人的面部表情与头部运动

实验共设置10个虚拟人物(5位女性，5位男性)的动画展示，他们在一个虚拟室内房间里讲述一个中性的故事，这些故事都是关于打排球、看电影或度假等日常生活事件。虚拟人是计算机创建的3D人形模型。在每个试次中，虚拟人都将分别在10个时间点显示一种表情或动作。

共有四种表情类型:微笑、头部运动、瞳孔变大或脸红(图1)，其中头部的动作是点头、摇头或摆头。


每个表情显示4秒，每个表情之间有9秒的中性表情。除此之外，虚拟人也会根据不同故事内容依据音节自动做出嘴型动作，并在故事的相应时间点扬眉或斜视，让整体行为表现更加自然。

此外，虚拟人带有微笑和瞳孔扩张的混合行为状态。在4秒内，微笑或瞳孔直径会从平均值变到最大，保持2秒稳定，并在最后一秒缩小回正常状态(图2)。

虚拟人的平均瞳孔大小和最大瞳孔大小

脸红表情是通过在虚拟人的脸颊上叠加一层红色来实现；头部的运动是运用动画功能实现，在4秒内呈现两次。例如，虚拟人在4秒内会点头两次。

• 记录被试多模态行为表现

1、头部运动和微笑表情
实验全程录制被试面部表情及头部动作，使用诺达思的行为观察记录分析系统（The Observer XT）对视频记录进行编码，共有61人的视频有效并被编码。

编码行为主要为:微笑、皱眉、其他面部动作、点头、摇头、晃头、其他头部动作和移动位置，但只有微笑和头部动作(点头、摇头和晃头)被纳入分析。

为了定义被试是否在互动中产生微笑表情或头部运动，研究者将虚拟人展现表情后的特定时间段（4秒）设置为被试行为的响应时间窗口，并创建了一个 python 程序，将编码结果汇总为两个二进制变量：头部运动反应（HRESP）和微笑反应（SRESP）。数值为 1 表示在虚拟人展现任意表情或头部运动后的响应窗口内，被试产生了行为（头部运动或微笑）。例如，任意故事中虚拟人的第一个表情出现在00:07-00:11，那么该行为的响应窗口为00:07-00:15。如果在此时间段内（如 00:15）出现了微笑，则该表情的 SRESP = 1，否则 SRESP = 0。

为了评估观察者间的信度，共有3名编码员参与编码与二次编码，行为观察记录分析系统（The Observer XT）会采用Cohen’s kappa计算3名编码员之间HRESP和SRESP的一致性。结果表明，编码者两两之间的均具有中度一致性。

2、瞳孔扩散
使用Tobii X2-60眼动仪(采样率60 Hz)和Tobii Pro Unity软件开发工具包(SDK)测量被试的瞳孔直径大小。使用 python 程序进行预处理，得出被试的瞳孔大小反应 (PRESP)。

3、脸红反应
使用配备 SKT 100C 模块的 Biopac MP150（采样率为 2000 Hz）和 AcqKnowledge 5.0.3 记录被试脸颊的皮肤温度。使用python程序进行预处理，得出被试的脸红反应(BRESP)。


微笑模仿：虚拟社交的粘合剂

• 微笑模仿行为在虚拟社交中的发生

对于运动水平的模仿，研究结果表明(图3)，与虚拟人的其他表情相比，被试更有可能模仿虚拟人的微笑[F(1,6088)=7.722;p=.005]。这说明微笑模仿发生在人类与虚拟人类的互动中，即人们会模仿虚拟人的微笑。

图3

而头部运动行为的结果表明，被试的头部运动不受虚拟人头部运动的影响[F(1,5788)=1.595;p=.207]，即人们不会模仿虚拟人的头部运动。这种结果可能是出于文化背景下，虚拟人头部运动对于被试来说不够自然，且存在其他变量的影响。因此研究者建议未来研究中可以考虑只探究对于点头或摇头的头部模仿，排除头部晃动的额外因素，以更好地探究模仿和被模仿的头部运动行为是否能在与虚拟人的互动中创造融洽的关系。

对于自主神经水平的模仿，研究结果发现，被试的瞳孔大小不受虚拟人瞳孔扩张的影响[F(1,4485)= 0.050;p=.823]；皮肤温度也不受虚拟人脸红表情的影响[F(1,6078)= 0.020;p=.888]。这表明平均而言，在人们与虚拟人社交互动中，瞳孔扩张和脸红的模仿没有发生。这可能是由于虚拟人瞳孔扩张的刺激变化不够明显，以及脸红反应的发生不够自然，导致被试对其变化的感受与关注度较低，需要在未来研究中更好地开展控制实验进行探究。

• 微笑模仿行为的亲社会效应

对于模仿行为与喜爱与信任的相关关系，研究结果表明（图4），微笑模仿对虚拟角色评价问卷(AEQ)评分有显著影响[F(1,1521) = 12.592；P<0.001]；对未来互动意愿量表(DFI)评分也有显著影响[F(1,1521) =14.431；P<.001]，同样也与对虚拟人的信任度评分有显著影响 [F(1,1471)=9.801;P=.002]。


图4

这表明，当人们模仿虚拟人的微笑时，他们对虚拟人的评价更加积极，对与其未来互动有更多的渴望，并有更强的信任感。而头部动作模仿、瞳孔扩张、脸红与喜爱与信任度评分均无相关性。

该研究结果表明，微笑模仿的亲社会行为效益同样可以延伸到人类与虚拟人的互动中。而对于头部运动、瞳孔扩张和脸红模仿方面对于好感与信任度的相关关系，过往研究也有不同的结果呈现，需要继续操纵变量进行探究。

• 社交焦虑的影响需要进一步考量

对于社交焦虑对模仿行为影响，结果表明无显著影响(表1)，即社交焦虑对虚拟人的表情和动作与被试模仿行为之间的关系没有调节作用。

表1
对于这一研究结果，研究者分析认为，在微笑模仿中，虚拟人没有依据故事内容，而只是随机展现微笑，这可能会让被试感到这是一个出于礼貌的微笑，而不是快乐的微笑。而对于高社交焦虑者来说，他们可能只会在开心的微笑时表现出较少的模仿，而不是礼貌的微笑。未来研究可以考虑设置不同类型的微笑作为刺激，来更精确地编码互动者的微笑表情。

同时，社交焦虑对行为的影响可能与情境有关。有研究发现，当存在负面社会评价风险时，社交焦虑会影响个人信息的披露情况。在本研究中，虚拟人的互动对高度社交焦虑者来说威胁较小，所以人们的模仿行为之间的差异并不会受社交焦虑水平影响。在未来研究中，可以考虑互动情景的设立。此外，本研究实验招募的被试中，包含的社交焦虑水平较高的人较少，而为了保证样本的多样性，应该对被试进行预筛选，获得不同社交焦虑水平的群体以获取更加敏感的结果差异。


总结
本研究探讨了人们模仿虚拟人行为的程度，这种模仿是否有利于互动以及模仿是否受到社交焦虑水平的影响，验证了过往研究并对微笑模仿行为研究提供了结合生态效度与实验控制的实证基础。

结果发现，在人与虚拟人的互动中，无论焦虑程度如何，人们都会模仿虚拟人的微笑，而微笑模仿与对虚拟人的好感和信任度增加有关。这表明，微笑模仿是一种社交粘合剂，同样有利于虚拟社交互动。它能增加人们对虚拟人的好感和信任，从而使人与虚拟人的互动更加顺畅。

参考文献
Fasya, E. L., van den Bos, E., Heylen, D. K., & Kret, M. E. (2024). Smile mimicry smoothens human-virtual human interactions. International Journal of Human-Computer Studies, 183, 103182.
Jefferies, P., Ungar, M., (2020). Social anxiety in young people: a prevalence study in seven countries. PLoS ONE. 15 (9), e0239133.
Kramer, ¨ N., Kopp, S., Becker-Asano, C., Sommer, N., (2013). Smile and the world will smile with you—the effects of a virtual agent‘s smile on users’ evaluation and behavior. Int. J. Hum. Comput. Stud. 71 (3), 335–349.
Kret, M.E., Fischer, A.H., de Dreu, C.K.W., (2015). Pupil mimicry correlates with trust in in-group partners with dilating pupils. Psychol. Sci. 26 (9), 1401–1410.
Mattheij, R., Postma-Nilsenova, ´ M., Postma, E., (2015). Mirror mirror on the wall. J. Ambient. Intell. Smart Environ. 7 (2), 121–132.
Prochazkova, E., Kret, M.E., (2017). Connecting minds and sharing emotions through mimicry: a neurocognitive model of emotional contagion. Neurosci. Biobehav. Rev. 80, 99–114.
Stel, M., Blascovich, J., Mccall, C., Mastop, J., van Baaren, R.B., Vonk, R., (2010). Mimicking disliked others: effects of a priori liking on the mimicry-liking link. Eur. J.Soc. Psychol. 40 (5), 867–880.

关注诺达思公众号，联系我们获取更多产品信息及学术文章！