情绪交流中的“表达-感知-感受”三者常被混为一谈但它们在神经与行为层面的分离正是理解真实情绪的关键。AFFEC数据集通过84段情境化对话、多模态生理与行为信号以及独立的感知/感受双标签系统捕捉了这种分离。这项工作的实质价值不在于堆砌数据量而在于为情感计算提供了一个可拆解情绪成分、可检验个体差异的开放实验场。在公众号后台回复关键词“AFFEC数据集”即可打包获取全套数据集和分析代码。摘要情绪识别在推动人机交互发展中扮演着关键角色。然而由于微妙的非言语线索、稳定的个体差异以及人际互动的动态性在面对面情境中捕捉情绪仍充满挑战。现有数据集通常局限于有限模态、演员表演式表达或高度受控的实验条件从而缺失了适应性模型所需的生态效度和理论细节。本研究引入“推进面对面情绪沟通(AFFEC)数据集”旨在填补上述空白。AFFEC包含84段情境启动的情绪对话涵盖六种情绪采集自72名参与者共计超过5000个试次并标注了超过20000个标签。该数据集整合了脑电图(EEG)、眼动追踪、皮肤电反应(GSR)、面部视频和大五人格评估。通过将理论基础与方法广度相结合AFFEC为情感计算提供了一个可重复且可扩展的研究资源为开发能够真正理解人类真实情绪、具备情境适应性和共情能力的情绪感知系统奠定了坚实基础。引言人类交流本质上是情绪性的既依赖言语线索也依赖非言语线索来传递信息和建立联系。随着人机交互(HAI)和社交机器人(SR)的快速兴起人们对于能够理解并响应人类情绪智能体的需求日益增长。这类系统对于改善医疗保健、教育、客户服务等领域的交互至关重要。最终目标是开发出具备社交能力的智能体这些智能体能够同时考虑人类交互对象的认知状态和情绪状态从而确保交互的安全性、吸引力与自适应性。尽管已取得一定进展当前的情绪识别系统在捕捉现实世界情绪交流的全部复杂性方面仍面临困难。许多方法过度依赖言语通道却未能充分利用微妙的非言语线索如面部动作、注视模式或自主神经信号而这些线索对于准确解码情感至关重要。与此同时大多数现有数据集普遍受限于静态或人为设计的刺激材料、模态覆盖范围有限以及性格特质(如人格)采集的缺失而人格恰恰对情绪的表达与感知方式具有深远影响。从理论角度来看这一差距反映了基本情绪理论(BET)与情绪建构理论(TCE)之间的分歧前者假定存在离散的、通用的情绪类别后者则强调核心情感、情境线索和个体差异。以BET为导向的数据集(如DEAP、MAHNOB-HCI)虽展示了多模态传感的价值但通常依赖于表演性刺激或短视频片段较新的语料库(如ASCERTAIN、AMIGOS)虽然纳入了人格特质但仍缺乏双标签结构或对话框架。TCE强调内在情感体验(感受情绪)和外部感知(感知情绪)是两个不同的过程然而现有的大多数数据集却将二者合并为单一标注。这便在模型如何同时解释通用信号和情境依赖性变异这一根本问题上留下了空白。用户对那些能够适应其情绪状态的智能体会做出更积极的回应这就要求对表达情绪(Ee)、感知情绪(Ep)和感受情绪(Ef)加以区分。当面临情绪刺激时个体会解读外部信号(Ep)并产生内部状态(Ef)两者可能因情境、人格或框架的不同而出现差异(图1)。图1.本研究考察的三种情绪类型示意图表达情绪(Ee)、感知情绪(Ep)和感受情绪(Ef)。为应对这些挑战本研究引入了AFFEC数据集该数据集整合了EEG、眼动追踪、GSR、面部运动以及人格评估并为感知情绪和感受情绪提供了明确的双标签标注。与基于双人对话音频的语料库不同AFFEC聚焦于听者一方参与者观看嵌入在简短情境场景中的动态面部表情。这种基于情境启动的设计在实验控制与生态效度之间取得了平衡使得我们能够分析Ep与Ef在不同个体间如何产生分离。本研究排除了音频和语言通道以避免特定语言所带来的混淆。本研究的主要贡献如下引入AFFEC数据集这是一个多模态语料库采集了来自72名参与者、涵盖六种情绪的84段模拟对话包含超过5000个试次和20000余个标签并整合了EEG、眼动追踪、GSR、面部视频和人格数据。情绪类别的显式区分AFFEC明确区分了表达情绪(Ee)、感知情绪(Ep)和感受情绪(Ef)从而能够对情绪交流中的分歧进行系统性研究。基线分析基于单模态和多模态特征的参考基线模型表明即便是采用最简处理性能亦可稳定超越随机水平。纳入个体差异通过整合大五人格特质AFFEC为研究性格因素如何调节情绪感知与表达提供了支持为个性化情感计算铺平了道路。AFFEC数据集数据获取与结构AFFEC数据集在Zenodo上公开可用(https://doi.org/10.5281/zenodo.14794876)。该数据集遵循脑成像数据结构(BIDS)规范将每位参与者的记录(包括EEG、眼动追踪、GSR、面部视频和行为日志)组织到sub-subject_id文件夹中并附有相应的标注文件。在根目录层级用户可以看到如下内容dataset_description.json(数据集高层元数据)participants.tsv和participants.json(人口统计学数据和大五人格得分)task-fer_events.json(情绪识别任务的全局事件标注)README.md(关于文件格式、使用方式及数据采集流程的详细文档)。每个被试文件夹进一步划分为若干子目录如eeg/、beh/和events/EEG数据(eeg/)采用.edf格式以256Hz采样率从63个通道(10-20布局)采集并附有包含通道信息的JSON文件。眼动追踪、GSR和面部数据(beh/)JSON或TSV文件记录注视坐标、瞳孔直径、皮肤电反应和面部动作单元。事件文件(*_events.tsv)包含试次时间信息、刺激开始/结束时间以及感知情绪和感受情绪的情绪标签。所有记录均符合BIDS规范确保与常用的神经影像和生理信号处理工具兼容。此外用于预处理、分析和基线建模的代码可在https://github.com/itubrainlab/AFFEC/tree/main获取。参与者本研究招募了72名参与者(52名男性20名女性平均年龄为27.2±6.0岁)教育水平涵盖高中到博士。人口统计学详细信息(包括性别分布、利手、教育程度、英语水平和视力矫正情况)详见表1。所有参与者均具有正常或矫正至正常的视力且为神经典型发育者。根据机构伦理标准已获得每位参与者的知情同意。表1.参与者人口统计学信息(N72)。实验设计与程序为模拟对话场景中的倾听部分参与者观看动态的、富有情绪表现力的视频片段。共计88个试次(4个练习试次加84个正式试次)以随机顺序呈现。本研究从CREMA-D数据集中选取了84个视频片段涵盖91位年龄在20-74岁之间的演员(48名男性43名女性)他们表演了六种基本情绪(愤怒、厌恶、恐惧、高兴、中性、悲伤)强度各异。这一选择在情绪内容和演员人口统计学特征之间取得了平衡以确保广泛的覆盖范围和推广性。为增强生态效度每个视频之前均呈现一段简短的文字情境为所描绘的情绪提供背景(图2)。这些情境旨在启动参与者的情绪反应模拟现实对话中的线索。图3展示了其中一个刺激的示例帧。图2.视频刺激前呈现的示例情境。图3.来自CREMA-D视频刺激的代表性帧。动态面部表情支持情绪研究中的生态效度。实验共分为四个block其间安排三次休息参与者可以在休息期间放松、补充水分并仅在准备就绪后继续完成下一个block。虽未采集外显的疲劳评分但block间的休息阶段有效降低了84个试次期间发生认知超负荷的风险。每个视频播放结束后参与者需对感知情绪与感受情绪分别提供自我报告评分。其中感知情绪(Ep)指参与者认为视频所表达的情绪而感受情绪(Ef)则捕捉参与者自身的主观体验。评分采用9点李克特量表分别针对唤醒度(1非常平静9非常兴奋)和效价(1非常消极9非常积极)两个维度进行如图4所示。图4.用于描述情绪唤醒度和效价评分的9点量表。参与者指导语与标签效度参与者接受了标准化的书面与口头指导以规范评分过程。对于感知情绪评分参与者被要求“使用效价和唤醒度标注你从视频中面孔所感知到的情绪”。对于感受情绪评分则被要求报告“你对说话面孔做出反应时所感受到的内部情绪”。效价与唤醒度两个维度通过锚定词语标签加以解释并与图4所示的9点量表严格对应。在开始84个正式试次之前每位参与者均完成了4个练习试次这些试次同样取自CREMA-D库练习试次不纳入后续分析。这些试次旨在使参与者熟悉评分界面和双标签程序确保每位参与者在正式任务开始前均已充分理解整个流程。关于标签效度参与者是否准确理解并正确应用了感知情绪评分一个关键检验指标在于其评分与CREMA-D演员所提供的地面真值(ground truth)情绪标签之间是否具有高度一致性。鉴于CREMA-D标签反映的是预期的表达情绪参与者的感知评分与这些标签之间的强一致性便有力地证实了参与者确实是在标注外部表达的情感而非自身的内部状态。因此在自我报告情绪研究的标准假设范围内本研究将这两组标注均视为有效的主观地面真值。数据采集模态为全面评估情绪反应本研究同步采集了以下多种模态的数据眼动追踪使用Gazepoint GP3(150Hz)捕捉注视位置和瞳孔大小以反映注意力模式及唤醒度。EEG使用g.tec hiamp 64通道系统记录与认知和情绪过程相关的神经活动。GSR使用Shimmer 3指戴式传感器追踪皮肤电导的变化以反映情绪唤醒度。面部运动使用USB摄像头记录参与者在每个试次中的面部表情。随后使用OpenFace 2.2.0提取特征该工具提供逐帧的动作单元强度与置信度评分。本研究保留了全部帧及相应的置信度值以便用户根据自身需求设定阈值。人格评估采用BFI-44问卷测量大五人格特质(开放性、尽责性、外向性、宜人性和神经质)为情绪感知与表达的个体差异提供背景信息。图5展示了整体实验设置该实验在受控的光照与温度条件下进行以最大限度地减少混淆因素。图5.实验设置示意图。参与者佩戴EEG、GSR及眼动追踪传感器观看显示器上呈现的刺激。情绪标签与地面真值参与者在每个视频片段结束后分别对感知情绪和感受情绪进行评分。这种双标签方法支持对刺激的表达情绪(Ep)与参与者内部情感反应(Ef)之间交互作用的详细解析。唤醒度(1非常平静9非常兴奋)与效价(1非常消极9非常积极)评分随后采用数据驱动的最优分箱策略划分为三个类别低/消极、中/中性、高/积极。该策略旨在最小化与均衡分布(每类约33%)的偏离并便于后续的分类任务。图6展示了Ep和Ef唤醒度/效价的频率分布及相应的分箱边界。图6.Ep和Ef唤醒度/效价的频率分布及相应的分箱边界。数据划分与评估为确保跨模态(如GSR、眼动追踪、EEG)比较的一致性本研究实施了统一的数据划分策略(训练集/验证集/测试集比例为60%/20%/20%)并进行了标签分层。所有划分均遵循被试间互斥原则即任一参与者仅出现在一个划分中。每次实验在训练集上采用5折交叉验证进行超参数调优并基于宏平均F1分数选择最佳模型。数据集统计AFFEC包含多种采样率的同步数据流眼动追踪(150Hz16个注视通道21个瞳孔通道5632个试次)、面部动作单元(40Hz200余个OpenFace通道5680个试次)、GSR(50Hz40个通道5438个试次)以及EEG(256Hz63个通道5632个试次)。自我标注覆盖5807个试次每个试次在四个情绪维度(Ep/Ef的唤醒度和效价)上均配有标签。事件标记确保了跨模态的时间对齐。多模态时间对齐不同采样率数据流之间的跨模态同步通过Lab Streaming Layer(LSL)框架实现。LSL提供了一个统一的、时间同步的数据采集基础设施每个采集设备(EEG放大器、Gazepoint眼动仪、Shimmer GSR)均运行一个LSL输出端以其共享的网络时间戳传输数据。实验控制软件则通过专用的LSL输出端发送刺激开始和结束的事件标记这些标记与生理数据流使用相同的同步时钟进行记录。由此所有模态得以共享一个共同的时间参考基准而无需依赖硬件触发器。这些开始/结束标记以每种模态的原始采样率存储在BIDS *_events.tsv文件中为后续的数据段提取和锁时分析提供了跨模态锚点。面部动作单元时间序列通过使用OpenFace 2.2.0对每个试次的视频记录进行离线处理生成帧级时间戳保留在输出的.csv文件中并与刺激开始标记进行交叉引用以实现与生理数据流的时间对齐。缺失或无效样本均采取保守策略处理。受眨眼相关瞳孔缺失影响的眼动追踪样本、存在过度运动伪迹的GSR片段以及置信度低于0.5的OpenFace帧均保留在数据集中并附带其质量标志以便用户根据自身标准设定排除阈值。针对本文所报告的基线分析试次级的汇总统计量是基于每个试次窗口内所有可用样本计算得出的对于某一特定数据流中缺失样本比例超过20%的试次将被排除在该模态的分析之外。上文所报告的各数据流之间试次数量的微小差异即由此所致。眼动数据分析眼动和瞳孔动态是捕捉注意力分配和定向反应的非侵入式、可部署信号对于听者侧的人机交互和社交机器人系统而言它们提供了一扇无需接触式传感器即可直接了解用户注意焦点与唤醒度状态的窗口。本研究对眼动追踪数据进行了分析旨在探究此类视觉注意模式和瞳孔动态能否预测自我报告的情绪状态。具体而言本研究聚焦于四个目标变量感知唤醒度、感知效价、感受唤醒度和感受效价每个变量均如前所述被划分为三个有序类别(低、中、高)。建模方法针对每个目标变量本研究基于从眼动追踪数据中提取的特征分别训练了一个参考基线分类器。每个试次所提取的关键特征包括注视位置水平及垂直坐标。注视指标注视持续时间与注视次数。瞳孔直径捕捉瞳孔大小变化的统计量度。对于每个试次本研究计算了上述特征时间序列数据的汇总统计量(均值、标准差、最小值和最大值)。在特征提取之前注视数据流已与同步采集的瞳孔直径数据流(提供LPUPILD、RPUPILD、LPD、RPD和瞳孔中心坐标)合并。数据集采用被试间互斥的5折交叉验证进行评估。为应对类别不均衡问题所有分类器均应用了class_weight‘balanced’参数。使用带有均衡类别权重的随机森林分类器作为参考基线未进行超参数调优。模型性能通过5折交叉验证进行评估报告的指标包括每类F1分数、宏平均F1分数和总体准确率。结果表2(眼动追踪行)汇总了72名参与者的性能结果。眼动追踪在感知效价(宏F10.373±0.017)和感知唤醒度(宏F10.355±0.023)上取得了最佳宏F1值。感受状态则更难预测感受唤醒度(宏F10.336±0.005)和感受效价(宏F10.357±0.013)更接近随机水平。低类别的F1值始终高于高类别或中类别这反映出在仅通过目光注视来预测升高的内部唤醒度或效价时存在一种不平衡的残差难度。表2.单模态与多模态基线的分类性能(F1分数5折交叉验证)。这些发现表明尽管眼动追踪能够捕捉视觉注意和唤醒度强度的有意义信号但仅凭其自身尚不足以实现稳健的效价预测。基于本研究的数据集设计这些结果应被定位为参照基线它们证实眼动追踪数据流中确实存在可区分的情绪信号但同时也凸显了进行多模态融合(例如与EEG、GSR或面部特征融合)的必要性唯有如此方能在情感维度的各个层级上取得更为均衡的预测性能。EEG分析预处理为标准化不同配置下所记录的数据本研究使用MNE v. 1.8.0仅执行了最简预处理。所有EEG信号均重采样至200Hz并进行1-80Hz的带通滤波。数据段从视频开始时刻提取固定时长为3秒。该时间窗口是EEG情绪识别的既定标准与情感最为相关的情绪加工关联——包括事件相关电位成分(N200、晚期正电位)以及theta、alpha和beta频段的振荡变化——均在刺激呈现后的最初0.5至3秒内展开。超过3秒会引入更多运动伪迹和试次间污染这与先前基于DEAP和MAHNOB-HCI数据集的EEG分析结果一致。为进行粗略的伪迹去除超过100µV和低于–100µV的值被削波随后执行了逐通道的标准缩放。本研究未应用基于被试的伪迹拒绝或高级清洗(如ICA)因为此处的目标是提供参考基线而非优化处理流程。建模方法为验证AFFEC数据集的EEG数据在情绪识别中的适用性本研究采用了一个基线深度学习模型FBSCPNet该模型是一种被广泛使用的卷积网络架构。其网络结构由两个一维卷积层组成一个为时间卷积层另一个为空间卷积层(跨通道)各含40个卷积核。在正则化方面模型采用了批归一化与系数为0.5的dropout其后接入输出分类层。所有超参数均与原论文保持完全一致并应用于所有四个目标变量。模型训练了5000个epoch并采用被试间互斥的划分方式进行5折交叉验证。值得强调的是与EEG情绪识别领域的常见做法不同本研究未进行任何超参数调优与上采样处理以完整保留自然的标签分布。因此本研究的目的并非追求性能最大化而是提供一个透明的参考基线。未来研究可探索数据增强策略(如噪声注入、窗口化)、更先进的时间序列模型(如RNN、Transformer)或更为精细的伪迹去除方法以进一步提升分类准确率。结果表2(EEG行)展示了CNN模型在四个目标变量上的分类性能。所有指标均显著高于随机水平(0.333)证实了EEG记录中包含可有效区分的信号。其中感受唤醒度取得了最佳性能(宏F1 ≈ 0.496)而感知效价仍然是最难预测的(宏F1 ≈ 0.396)。这一模式与既往文献报道一致唤醒度较之效价在EEG中通常表现出更强的生理关联后者往往更为微妙且高度依赖于情境。GSR信号分析数据预处理与特征提取原始GSR信号使用neurokit模块进行处理该模块将每个信号分解为相位成分(由催汗运动活动引起的快速波动)和张力成分(缓慢变化的基线)。对于每个试次从刺激开始时刻至刺激结束后10秒的时间窗中提取特征。该窗口长度与3秒的EEG数据段在设定上有所不同GSR对情绪显著事件的反应具有1至4秒的特征性潜伏期皮肤电导反应(SCR)的峰值幅度通常出现在事件发生后3至8秒且恢复过程持续更久。若将GSR窗口截断以匹配EEG数据段则仅能捕捉基线和初始上升阶段从而完全错失最具诊断信息的峰值幅度、上升时间及恢复指标。因此这两种模态在本质上运作于不同的时间尺度其分析窗口亦据此分别设定。本研究提取了皮肤电导反应峰值并计算了一套全面的特征集(见表3)。图7展示了GSR信号分解为相位和张力成分的示例。图7.GSR信号分解为相位和张力成分。表3.提取每个试次的SCR峰值指标。自我报告情绪反应的分类除考察统计关联外本研究还评估了GSR特征对自我报告情绪反应进行分类的预测能力并将四个目标变量(感知唤醒度、感知效价、感受唤醒度和感受效价)划分为三个有序类别(低、中、高)。1)实验设置连续评分依据各目标变量的最优阈值进行离散化处理。特征集由通过neurokit2.eda_process(method‘neurokit’采样率10Hz)提取的SCR峰值指标构成涵盖SCR起始点、幅度、高度、上升时间、恢复和恢复时间的峰值数量及五项统计量(均值、中位数、最小值、最大值、标准差)共计31个特征。所有分类器均采用class_weight‘balanced’参数并在5折被试间互斥的交叉验证框架下进行评估未进行额外调优。2)仅使用GSR SCR特征的结果表2(GSR行)展示了72名参与者的结果。感知效价取得了最高的宏F1值(0.441±0.022)感知唤醒度紧随其后(0.389±0.010)。感受目标的表现相对较弱感受效价(0.405±0.033)优于感受唤醒度(0.336±0.012)。对于感受唤醒度高类别的预测尤其差(F10.240)这与GSR主要反映张力唤醒度水平而非内部兴奋峰值相一致。3)小结GSR衍生特征表现出对情绪唤醒度的明确敏感性然而自我报告情感中固有的复杂性和主观性导致单独使用GSR数据时的分类性能有限。这一发现与既往研究一致表明虽然皮肤电导提供了可靠的生理唤醒度指标但仅凭其自身尚不足以单独捕捉效价维度。在实践中这一结果凸显了多模态整合的重要性当与EEG、眼动追踪或面部线索相结合时GSR能够提供互补的生理证据从而增强情感识别系统的整体性能。未来研究也可通过更先进的张力-相位动态分解、SCR时序建模或将GSR整合到考虑个体基线变异性的个性化模型中来进一步提高预测准确性。面部视频分析面部动作单元(AU)是最具社会可解读性的情感信号之一。人机交互智能体可利用基于动作单元的模仿和表达性线索在无需接触式传感器的情况下推断听者的投入程度、共情水平及效价状态。除生理信号和眼动追踪数据外本研究还考察了实验过程中记录的参与者面部表情着重分析参与者表情与刺激内容之间的一致性并评估面部特征在情绪识别中的效用。变量与测量为探究面部表情与情绪加工之间的关系本研究定义了以下测量指标共情度感知情绪与感受情绪评分在效价-唤醒度空间中的欧氏距离。共情度值越低表明内部(感受)情绪状态与外部(感知)情绪状态之间的一致性越高。面部模仿相似度每个试次内对所有动作单元计算的平均动态时间规整(DTW)得分。DTW得分越高反映参与者的面部表情与刺激中所呈现表情之间的时间对齐程度越高。情绪识别性能使用Davies-Bouldin指数(DBI)进行评估以量化基于面部特征所衍生情绪簇的紧凑性与可分离性。DBI值越低表明簇的界定越清晰。结果表2(面部动作单元行)展示了使用均衡随机森林对72名参与者的分类结果。感知效价(宏F10.439±0.019)和感受效价(宏F10.430±0.015)在动作单元目标中取得了最高的宏F1值这反映了面部运动在传达情感效价中的核心作用。感受唤醒度是最难预测的目标(宏F10.333±0.025)其高类别F1值近乎为零(0.104)这与动作单元层面的模仿所捕捉的表达模式更紧密关联于效价极性而非唤醒度强度这一发现相一致。这些结果表明基于动作单元的面部特征为感知情绪和感受情绪提供了有意义的线索尽管预测能力参差不齐。正如预期的那样与高效价状态相比唤醒度相关的差异被更一致的捕捉到而高效价状态依赖于更微妙或情境相关的信号。重要的是虽然单独使用面部特征可以达到中等水平的性能但当其与眼动追踪、GSR或EEG融合时能够提供互补性的信息。因此未来的扩展研究可能受益于将动作单元与时间对齐方法(例如跨序列的DTW)或深度时空模型(例如CNN-RNN混合模型、transformer)相结合以全面捕捉自然情境下面部模仿的动态过程。人格分析人格特质在塑造个体感知、体验和表达情绪方面发挥着关键作用。在听者侧的人机交互和社交机器人情境中稳定的大五人格特质可作为一种个性化先验使智能体能够依据个体基线调整情感预测从而在一定程度上补偿个体间变异。在呈现结果之前有必要就所采用的推断方法予以说明。该数据集具有分层、重复测量的结构特征5807个试次级评分嵌套于72名参与者之中每位参与者贡献约80次评分。标准的Pearson相关分析假定观测值是独立的而这一假定在此处显然被违反因为来自同一参与者的评分共享一个共同的变异来源(即该参与者自身的反应倾向)致使这些评分彼此之间的相似性高于其与来自其他参与者评分之间的相似性。忽略这种嵌套结构会虚增显著性检验中所使用的有效样本量导致所得p值系统性地偏于反保守(即过小)。因此表4仅将Pearson r作为描述性效应量汇总进行报告不附带显著性检验。处理分层、重复测量数据的恰当推断工具是混合效应模型该模型通过为每位参与者设置随机截距来显式地表征这种嵌套结构从而将方差分解为参与者间成分与参与者内试次成分。这些模型所输出的标准化β系数及其95%置信区间构成了本研究的主要推断性证据(表5)。表4.人格-情绪间的Pearson相关系数r(基于试次层面计算)。表5.混合效应模型结果各人格-情绪对的标准化β系数、95%置信区间及边际R²。测量量表大五人格特质采用BFI-44量表进行测量每个特质的评分范围为0至50。在本研究样本中各特质的观测得分范围如下开放性(27–49)、尽责性(20–42)、外向性(14–38)、宜人性(15–45)和神经质(9–35)。情绪反应采用9点唤醒度与效价量表进行评分。正态性检验尽管大样本、试次水平的数据通常难以通过正式的正态性检验本研究仍对每个人格特质及情绪反应变量进行了Shapiro-Wilk检验以评估其分布形态(表6)。所有报告的p值均低于0.05鉴于观测数量庞大这并非异常。如上所述试次之间的非独立性意味着这些p值不应被过度解读。因此本研究将关注点放在Pearson相关的效应量上仅将p值视为对潜在分布模式的描述性指标。表6.Shapiro-Wilk正态性检验结果。人格-情绪相关表4报告了成对Pearson相关系数以供描述性参考。鉴于评分为试次水平且每位参与者均存在重复观测表中p值仅具描述意义不应解读为验证性推断。表5报告了相应的混合效应模型结果(含参与者随机截距72名参与者5807个试次)该模型恰当地考虑了被试内数据的聚类结构并报告了标准化β系数及其95%置信区间。主要发现开放性是感受唤醒度的最强预测因子(β0.12095% CI [0.005, 0.236]边际R²0.015Cohen’s d ≈ 0.28)这是考虑了参与者聚类效应之后唯一一个置信区间不包含零的唤醒度预测因子。神经质与感知效价(β −0.058CI [−0.085, −0.032])和感受效价(β −0.084CI [−0.140, −0.027])均呈负相关这与高神经质个体负面情感增强的特征一致。尽责性和宜人性均与感受效价呈正相关(β分别为0.061和0.079)表明得分越高的个体其内在情感体验越积极。外向性与感知效价呈负相关(β −0.039CI [−0.076, −0.002])这可能反映出在这些条件下外向者倾向于将刺激感知为较不积极的趋势。所有边际R²值均较小(0.02)这证实了效应量虽真实存在但程度有限在任何单一模型中人格特质最多仅能解释试次层面1.5%的方差。其实际意义在于人格应作为一种个性化先验发挥作用而非充当独立的预测因子。多模态分析接下来本研究评估了基于多模态特征的基线模型在情绪分类上的性能。本研究方法融合了来自眼动追踪、面部动作单元(从面部视频中提取)以及GSR的信号并进一步考察了将人格特征纳入多模态表征的效果。多模态特征的结果表2显示EyeAUGSR的宏F1值分别为0.357(感知唤醒度)、0.444(感知效价)、0.315(感受唤醒度)和0.421(感受效价)。加入人格特征后感知效价(0.444→0.4550.011)和感受唤醒度(0.315→0.3270.012)都获得了较为明显的增益感受效价变化甚微(0.001)而感知唤醒度略有下降(−0.003)。跨模态比较而言EEG在唤醒度维度上仍表现最优(感受唤醒度为0.496)而外周信号在效价维度上相对更具优势尤其是GSR(感知效价0.441)和面部动作单元(感知效价0.439感受效价0.430)。对多模态人格进行的性别分层评估结果大致均衡女性与男性的宏F1值分别为感知唤醒度(0.402 vs 0.344)、感知效价(0.453 vs 0.458)、感受唤醒度(0.301 vs 0.348)和感受效价(0.444 vs 0.418)。这些结果支持了多模态互补性并为进一步开发更强的时间序列模型与主体自适应模型提供了动力。结论AFFEC是一个多模态、开源的面对面情绪交流数据集提供明确的感知与感受标签。基于72名参与者及5807个已标注试次的基线结果揭示了跨模态信号之间的互补模式EEG在唤醒度维度上优势显著外周模态在效价维度上表现更为突出而人格特征的纳入则选择性地提升了特定目标的预测性能其中以感知效价的增益最为明显。参与者样本以男性为主(72%)且文化背景相对单一这一构成限制了研究结论向更广泛人口统计群体的推广性也由此将更大范围的人口学覆盖确立为数据集后续扩展的核心方向。此外这些结果为未来研究提供了透明的性能基准混合效应分析及外部研究团队的广泛采用已初步印证了其科学价值与可重复性。AFFEC致力于推动情感计算迈入下一发展阶段即开发兼具情境感知与个性化能力的模型以协同应对信号融合、公平性及现实世界部署中的关键挑战。参考文献M. J. Seikavandi et al., Advancing Face-to-Face Emotion Communication: A Multimodal Dataset (AFFEC), in IEEE Transactions on Affective Computing, doi: 10.1109/TAFFC.2026.3710632.