立体与非立体虚拟现实影片情绪唤醒差异的电生理特性

  近年来,虚拟现实(virtual reality,VR)影像备受瞩目,VR凭借其特有的沉浸感、交互性等特点,给观众带来了别样的观影体验。VR场景显示方式有头盔式、桌面式、投影式等,其中,头盔式是较为常用的虚拟场景显示方式[]。与传统影像一样,VR影像也有非立体(two-dimensional,2D)和立体(three-dimensional,3D)之分。VR-2D模式的影片制作方式简便,是当下VR影片的主要呈现方式。VR-3D实景影片拍摄设备更加昂贵,制作流程更加复杂,传播条件更加严苛,但相较于VR-2D影片,却具有更强的立体感和更加逼真的效果。对于受众来说,无论哪种模式的VR影像,最重要的还是激活观众的情绪,引起观众的共鸣,因为体验情感的欲望才是使用各种媒体的动机,它能让观众获得情绪唤醒的状态,进而获得良好的体验感受[]。因此,研究不同模式下VR影像对情绪唤醒强度的影响,是决定哪种视觉模式能成为VR电影主流传播形式前首先需要解决的理论问题。

  目前,对于VR体验的研究可以从存在[-]、负荷[-]、情绪[-]等角度展开。神经电影学[]的提出为不同模式下VR影像的体验研究提供了思路,即通过测量大脑活动来判别影像对观众的影响。脑电(electroencephalogram,EEG)技术可以直接测量头皮神经活动,时间分辨率高,在检测神经活动变化方面具有独特的优势。例如,Schubring等[]通过测量在传统平面和VR环境中观察中性和愤怒面部表情图片的被试者的脑电信号,比较事件相关电位(event-related potential,ERP)以及事件相关去同步化(event-related desynchronization,ERD)指标,发现与传统平面显示相比,VR刺激导致整体ERP激活更大,情绪条件下α/β震荡的ERD效应更强,Schubring等[]认为VR技术凭借其沉浸感使观察者获得了更大的情绪唤醒。He等[]在传统平面和VR环境中为受试者播放同一段影片,测量他们的脑电数据,利用EmotivTM Xavier Control Panel,由EEG数据计算出参与度指标,发现在VR环境下被试者的参与度更高,证明了VR环境可以提供更好的观看体验,更能激起观众的表演欲望。Bilgin等[]在平面环境和VR环境中设计了低唤醒和高唤醒两个情绪激发环境,通过记录和对比被试者的EEG信号,发现VR环境下δ、θ、α和β频段脑电能量都显著高于平面环境,他们得出结论,相较于传统的平面显示,VR更能激发和调节被试者的情绪。Kweon等[]为被试者在平面和VR环境中播放体育、新闻和广告视频,发现在VR环境中被试者的脑电β波震荡更高,节奏快、动态性强的视频更有可能显示出较大的β波震荡;相较于传统平面,VR技术可以更加生动地传达兴奋和活泼的情感。综上,已有研究表明观众更容易在VR环境中获得情绪唤醒。

  需要说明的是,以上研究大多针对的是传统桌面显示和VR,对于VR-2D和VR-3D之间的比较还没有得到广泛研究。由于传统桌面和VR影像的放映媒介本身存在差异,上述研究产生的生理信号差异是由视觉模式引起的,还是播放设备引起的,需要进一步探索。

  在少数几篇文献中,研究者发现相较于VR-2D显示技术,VR-3D显示技术可以带来更高的存在感,而且这种主观体验与脑电活动呈现显著相关性[-]。例如,Kober等[]构建了一个高度沉浸的三维大屏幕VR系统和较少沉浸感的二维桌面VR系统,让29名参与者执行了空间导航任务,通过计算任务相关能量下降/增加指标(task-related power decrease/increase,TRPD/TRPI),分析了基线与主动导航时的α波段(8~12 Hz)能量变化百分比,发现在VR-3D系统中,顶区α波段的TRPD增加,带来了皮质层的激活;同时结合主观问卷结果,发现了存在感与顶叶脑激活之间呈正相关关系。Slobounov等[]的研究还发现,在空间导航任务执行过程中,VR-3D环境能够提高知觉运动任务的成功率,被试者额区θ波段的脑电信号能量显著高于VR-2D环境。但是,与情绪相关的研究还不多。

  为了规避不同视觉背景带来的影响,进一步探索VR电影独特的视觉语言,本文以情绪唤醒为切入点进行深入探讨,对头盔式VR显示方式下的VR-2D和VR-3D视觉模式的情绪唤醒进行比较研究。通过认知心理实验采集数据进行分析对比,探索VR-2D和VR-3D两种不同的影游视觉模式对观众心理和生理状态的影响,对未来电影拍摄、制作和传播模式以及人的情绪调控研究提供理论支撑。

  为了研究VR-2D和VR-3D环境下人的脑电信号差异,本团队在Unity 2018平台搭建测试系统,完成了两种VR环境下的脑电实验。实验分为4秒短视频刺激[]和本文的完整影片刺激。由于实验环境的严苛性和实验流程的复杂性,在正式实验开展前进行了预实验,以确保最大程度地减少实验失误。

  本次实验招募的志愿者均为上海大学的在读本科生和研究生,均为右利手,随机分配至VR-2D或VR-3D组,每组各20人,其中VR-2D组男性11人,女性9人,年龄(23.25±1.52)岁;VR-3D组男性9人,女性11人,年龄(23.4±1.27)岁。所有参与者均无精神病史或大脑创伤,视力正常或校正视力正常。所有参与者均自愿参与本次实验,在实验前均已签署实验知情同意书,实验结束后获得相应的报酬。实验经过了上海市临床研究伦理委员会的批准。实验所有数据进行匿名分析。

  如所示,本实验采用的VR影像材料有两段,一段为上海城市形象宣传片《我们的上海》(由Motion Magic公司拍摄),影片内容是上海美景,全片时长为229 s。另一段为自主拍摄的上海温哥华电影学院万圣节化妆派对恐怖氛围影片《恐怖万圣节》,采用的视频拍摄设备为诺基亚OZO,该片呈现了经过特效化妆之后的各式幽灵演员,辅以恐怖的音乐音效,表现恐怖氛围,全片时长186 s。所有影片的数据格式保持一致,都具有双目视差,具备相同的立体感,影片分辨率都为4 096 × 2 048 dpi,帧速为30帧/秒,格式采用H.264编码。本团队使用Adobe Premiere软件在VR-3D视频的基础上合成对应的VR-2D版本影片素材。

  在脑电实验实施前,本课题组已另招募20名志愿者,男性10人,女性10人,年龄(24.1±2.05)岁,志愿者根据自己的感受对VR影像材料进行效价和唤醒度的行为学评分,评价结果见。可见,本文使用的刺激材料可以有效诱发出设定的情绪感受。

  所有实验均在封闭无干扰的黑暗环境中进行,参与者正对显示器。在实验开始前,所有参与者需保持头部干净、清爽。被试者填写完前测问卷后,实验人员会为被试者佩戴好脑电帽。脑电设备佩戴完毕后,所有参与者还需佩戴耳机和VR设备——HTC VIVE,并通过HTC VIVE HMD观看VR视频。参与者在实验过程中被告知不能随意晃动头部和身体,避免由于肢体运动以及VR头盔干扰脑电帽引起的误差。在正式播放视频片段之前会先为参与者播放一小段音频和视频,让参与者尽快适应实验环境并且平息下来,避免兴奋带来的实验误差。正式实验的视频播放过程中,被试者的脑电信号会被同步记录,实验人员会全程观察脑电帽各个通道的信号传输情况。每段视频播放结束,参与者需要对当下的情绪感受进行主观评分。实验流程如所示。

  本次实验采用的主观评分量表为自我情绪评定量表(Self Assessment Manikin,SAM)[]。SAM量表可以直接测量被试者对于各种刺激的情绪反应,包括效价、唤醒、控制等指标。本次实验主要对效价、唤醒和控制进行评分,评分等级均为1~9(在效价方面,数字越大表明积极程度越高;在唤醒方面,数字越大表明唤醒程度越强;在控制方面,数字越大表示控制程度越高)。

  实验采用的脑电采集设备为博瑞康(常州)股份有限公司的64导EEG检测仪,脑电数据通过Neuracle EEG Recorder V2.0.1(博睿康科技,常州)采集。Cpz作为参考电极,AFz作为接地电极,采样频率为1 000 Hz,电极阻抗均小于5 kΩ,采集时使用50 Hz陷波滤波器去除工频干扰。

  采用MATLAB中的EEGLAB工具箱完成实验数据的预处理。在预处理阶段,首先要剔除采集心电和眼电的5个无用通道,接着对原始数据进行FIR带通滤波,范围为1~40 Hz。滤波完成后进行坏导联插值和坏段剔除,用独立主成分分析法剔除眨眼、眼飘、肌电等伪迹成分,最后进行重参考[]和基线校正处理。信号预处理阶段中,两组各有几名被试者的数据存在不同程度的残缺,最终,VR-2D和VR-3D组各保留15组实验数据进行后续分析。为减少视频时长对脑电分析结果的影响,本团队对所有被试者的正性和负性脑电数据都进行等长的截取(正性和负性脑电数据总时长都为175 s,点数为175 000点)。同时,为了保证实验数据的可靠性,分别对VR-2D组和VR-3D组的被试者进行了静息态的脑电信号采集,截取的两组被试的静息态时长均为20 s,点数为20 000点,以检验两组被试在正式观影前基线脑电是否有显著差异。

  本次实验使用带通滤波对已预处理过的脑电信号进行分频处理,对每个数据段提取α(8~13 Hz)、β1(13~18 Hz)、β2(18~21 Hz)、β3(21~30 Hz)四个波段的脑电信号。

  针对提取出的各频段的脑电信号,取所有采样点的平方和代表该频段的能量[],频段能量的计算公式如式(1):

  其中,k代表数据段数量(本实验中的数据段数为1),N代表每段中的数据点个数(本实验中数据点个数为175 000),X(k)i代表第k段数据第i个点的值。

  如所示,本次实验选取以下脑区和特征通道进行分析:额区(Fz、F3、F4、FCz、FC3、FC4),顶区(Pz、P3、P4),中央区(Cz、C3、C4、CP3、CP4),颞区(TP7、TP8、T7、T8、P7、P8)和枕区(POz、PO3、PO4、Oz、PO7、PO8)。

  对于SAM量表中的数据,采用单因素方差分析进行均值比较。使用重复测量方差分析对取以10为底的对数后的脑电信号能量进行分析,其中组内因素是“情绪”(2个水平:正性情绪/负性情绪)和“脑区”(5个水平:额区/中央区/顶区/颞区/枕区),组间因素为“放映模式”(VR-2D模式/VR-3D模式)。如果上述因素之间存在交互效应,则进行简单效应分析。对于所有结果描述采用的检验水准为0.05。重复测量方差分析中所有主效应和交互效应的值都会经过Greenhouse-Geisser校正,简单效应分析的值会经过Bonferroni校正。

  为更深入地探索VR-2D与VR-3D模式的情绪唤醒电生理差异,采用支持向量机(support vector machine,SVM)对两种观影模式下的脑电信号进行特征的识别与分类,进一步研究VR-2D与VR-3D模式的情绪唤醒生理差异。

  本次实验中需要对α、β1、β2、β3这4个波频段的两种视觉模式的脑电信号进行特征的提取和分类,用于验证VR-2D和VR-3D视觉模式下的人脑生理信号是否能够被识别划分。

  本文使用LIBSVM工具包来进行情绪分类,采用的核函数为RBF核函数,该核函数在SVM分类中表现相对稳定[]。本文采用的交叉验证方法为K交叉验证[]。K交叉验证方法可以有效避免过学习与欠学习状态的发生。

  原始数据集为预处理过后的数据,数据集样本的标签分别为“1”和“2”,其中“1”代表VR-2D模式的脑电数据,“2”代表VR-3D模式的脑电数据,VR-2D和VR-3D各有30组数据,其中20%的数据作为测试集样本,80%的数据作为训练集样本。

  为了探寻VR-2D和VR-3D模式在两种不同情绪下脑电诱发的差异,本文分别比较了VR-2D和VR-3D两种模式下的主观量表数据以及α、β1、β2、β3这4个波段的脑电信号结果,同时对被试者的生理数据进行了脑区地形图的分析,最后,运用SVM机器学习的方法对采集的客观脑电数据进行了分类验证。

  SAM主观量表中效价、唤醒和控制指标的数据分析结果如所示。SAM量表中相同模式下不同情绪影片的主观效价、唤醒、控制数据结果表明,VR-2D和VR-3D模式下正性材料效价显著高于负性材料;VR-3D模式下正负性影片无显著的唤醒度差异,VR-2D模式下存在显著的唤醒度差异。该结果表明,被试者能够清楚地分辨被试材料的情感意义,且实验选用的正负性视频材料都可以引发较高的唤醒度。此外,对于两部影片VR-2D和VR-3D模式间的效价、唤醒指标的主观评分并未产生显著差异,表明被试者在SAM评价上并未表现出两种视觉模式的情绪维度差异。

  通过对比VR-2D和VR-3D两组被试人员的静息态脑电信号可知,两组被试人员的静息脑电信号在α波段(额区:P = 0.765;中央区:P = 0.454;顶区:P = 0.724;颞区:P = 0.999;枕区:P = 0.565)、β1波段(额区:P = 0.691;中央区:P = 0.878;顶区:P = 0.795;颞区:P = 0.347;枕区:P = 0.151)、β2波段(额区:P = 0.512;中央区:P = 0.583;顶区:P = 0.975;颞区:P = 0.146;枕区:P = 0.220)和β3波段(额区:P = 0.106;中央区:P = 0.932;顶区:P = 0.450;颞区:P = 0.087;枕区:P = 0.076)不具备显著差异,P值均大于0.05,因此,两组被试人员后续的脑电信号分析均基于同一水平展开,客观数据具备较高的可靠性。

  脑区的主效应显著,F(1.827,51.154) = 36.451,P<0.001,偏η2 = 0.566,枕区脑电能量较高。

  脑区和放映模式间有交互效应,F(1.827,51.154) = 4.963,P = 0.013,偏η2 = 0.151。对每个脑区进行组内因子方差分析,结果表明在枕区,F(1,28) = 6.365,P = 0.018,偏η2 = 0.185,VR-3D模式的脑电能量高于VR-2D模式,如所示。

  脑区的主效应显著,F(3.104,86.918) = 49.569,P < 0.001,偏η2 = 0.639,枕区和颞区脑电能量较高。

  脑区和放映模式间有交互效应,F(3.104,86.918) = 4.455,P = 0.005,偏η2 = 0.137。对每个脑区进行组内因子方差分析,结果表明在枕区,F(1,28) = 8.030,P = 0.008,偏η2 = 0.223,VR-3D模式的脑电能量高于VR-2D模式,如所示。

  脑区的主效应显著,F(2.771,77.592) = 71.502,P < 0.001,偏η2 = 0.719,枕区和颞区脑电能量较高。

  脑区和放映模式间有交互效应,F(2.771,77.592) = 4.307,P = 0.009,偏η2 = 0.133。对每个区域进行组内因子方差分析,结果表明在颞区F(1,28) = 5.105,P = 0.032,偏η2 = 0.154,在枕区F(1,28) = 6.058,P = 0.020,偏η2 = 0.178,VR-3D模式的脑电能量高于VR-2D模式,如所示。

  脑区的主效应显著,F(2.814,78.791) = 77.593,P < 0.001,偏η2 = 0.735,额区、枕区和颞区脑电能量较高。

  脑区和放映模式间有交互效应,F(2.814,78.791) = 3.454,P = 0.023,偏η2 = 0.110。对每个脑区进行组内因子方差分析,结果表明在颞区F(1,28) = 5.416,P = 0.027,偏η2 = 0.162,在枕区F(1,28) = 5.557,P = 0.026,偏η2 = 0.166,VR-3D模式的脑电能量显著高于VR-2D模式。额区VR-3D模式的脑电能量有高于VR-2D模式的趋势,F(1,28) = 4.188,P = 0.050,偏η2 = 0.130,如所示。

  通过绘制脑区地形图,能直观地显示脑电信号的空间分布以及不同脑区能量的高低和变化趋势,从而展示出脑电信号的差异区域。本文使用MATLAB绘制了正性、负性情绪影像在VR-2D和VR-3D视觉模式下四个频带的脑区地形图。

  如所示,在α波段,相较于VR-2D组,VR-3D组的枕区能量有了一定的上升;在β1、β2、β3波段,观看完不同模式的正、负性影片后,VR-3D组的整体脑区能量直观上高于VR-2D组,其中,能量较高的区域集中在枕区、颞区和额区。

  在脑区地形图的基础上分别对正性影片和负性影片在不同视觉模式下的脑电信号进行统计分析可知,观看负性影片时,枕区VR-3D模式下每个波段的脑电信号均显著高于VR-2D模式(α波段枕区P = 0.020,β1波段枕区P = 0.022,β2波段枕区P = 0.038,β3波段额区P = 0.037,β3波段枕区P = 0.048);在观看正性影片时,两种模式间产生显著差异的脑区增多,在高频β波段,额区、颞区和枕区都体现出模式间的差异(α波段枕区P = 0.037,β1波段枕区P = 0.015,β2波段额区P = 0.041,β2波段颞区P = 0.009,β2波段枕区P = 0.024,β3波段额区P = 0.006,β3波段颞区P = 0.008,β3波段枕区P = 0.033),VR-3D模式下脑电能量更高,如所示。

  本次实验选取人脑的五个脑区(额区、中央区、顶区、颞区、枕区)的通道作为特征识别通道,利用训练集数据进行训练,并用测试集数据进行验证,检验不同脑区对VR-2D和VR-3D视觉模式的分类识别准确率。

  SVM分类识别的准确率结果如所示。额区、中央区、顶区、颞区、枕区的平均分类准确率为70.83%、58.34%、64.58%、70.84%和70.83%。在α波段,额区和枕区的分类准确率较高,在β波段,额区、顶区、颞区和枕区的分类准确率都处于较高水平。该结果表明,在所有脑区中,额区、颞区和枕区的总体分类准确率较高,计算4个波段的平均识别准确率可知,β3波段的平均识别准确率最高,该波段所有脑区的平均识别准确率达到78.34%。

  本实验采用的SAM量表数据结果表明被试者可以准确地区分两部影片的情绪效价,对正负情绪做出准确的判断。在本课题组之前的实验中[],我们使用正性负性情绪量表(Positive and Negative Affect Schedule,PANAS)[]对观看与本文同样视频素材的另一批被试者进行了主观测试。实验中使用的PANAS量表基于正面情绪和负面情绪分别设计了10个情绪关键词,被试者需要基于当前的情绪对量表中的20个情绪关键词进行评分,1~5分分别代表几乎没有、比较少、中等程度、比较多、极其多。PANAS量表数据结果表明不论是正向影片还是负向影片,被试者在观看完VR-3D版本影片后会产生更多主观评分差异,在部分关键词中,VR-3D与VR-2D模式主观评分增量出现显著差异,在VR-3D模式下出现更显著的情绪唤醒。

  主观数据是一种有意识的自我报告,大脑处理情感刺激的部分过程与参与者的意识评价会存在不同[]。SAM量表并未体现出显著的模式间情绪唤醒差异,可能是由于被试者仅在实验结束后填写SAM量表,观影前并未定量测量被试者的情绪状态,因此无法完全排除观影前情绪状态对观影后情绪状态产生的影响。而PANAS量表在实验前和实验后均进行了填写,利用前后测的差值进行比较可以有效减小误差,因此在研究中PANAS量表的结果更具有可靠性。本次实验在主观量表测试实施过程中存在不足,导致主观结果的准确性和可靠性存在缺陷,在后续的实验中有待改进。

  本研究发现,在α、β1、β2、β3这4个波段中,观看VR-3D与VR-2D的影片均产生了不同的脑电活动。Kweon等[]发现,在观看不同类别的影片时,相较于传统桌面模式,VR-3D模式下β波更加活跃。由于观看传统桌面视频和VR视频需要不同的设备,在Kweon等[]的实验中,无法判别产生的脑电信号差异是由观看的影片引起的还是由于设备差异导致的。在我们的实验中,所有视频都是在头盔式VR环境下观看,消除了设备带来的差异,所以可以认为,在VR环境下,各个波段脑电信号的差异是由立体视觉引起的。

  脑电活动在不同条件下会呈现出不同的区域特性,简单视觉特征检测在枕叶视皮层,而复杂的特征和运动的提取多存在于颞叶[-],颞叶深沟中存在海马体,海马体在情绪加工和认知过程中起到重要作用[]。额叶区是高级认知功能中枢,研究表明复杂神经功能如知觉、思考、注意、反馈等高级活动一般存在于前额叶皮层和枕叶、顶叶、额叶皮层之间的联络区。其中,参与情绪活动的脑区包括杏仁核、基底神经节、前额皮层、扣带回皮层和顶叶皮层[-]。本次实验的结果表明,在β波段枕区和颞区能对VR-3D和VR-2D的影像体现区分和差异,我们推断这是由于人眼对立体模式的敏感性导致人脑处理视觉信号时在枕区和颞区出现不同的脑电能量。除此之外,在高频β波段,被试者的额区也能对VR-3D和VR-2D的影像产生不同的反馈,立体视觉模式下额区脑电信号能量显著上升。研究表明,相较于非立体影片,立体影片具有更高的感性现实主义,在观看3D影片时,观众注意力会更加集中,不容易分心[]。Tan等[]认为,感知现实主义和情绪之间存在双向关系,同时,情绪也受到了吸引力和关注的调控。也就是说,当画面呈现的内容现实感更强、引发更多关注时,可能会带来更为强烈的情绪。额区主要负责高级认知,额叶脑电活动可以反映人对于情绪活动做出反馈的能力以及调节注意力的能力[],我们因此推断导致额区出现差异趋势的原因主要是被试者在观看不同模式影片时产生了注意力的变化,在观看VR-3D影片时注意力更加集中,引发了立体视觉模式下被试者额区的活跃。在立体视觉模式下观看影片,可以提高观看者的注意力,有助于激发观看者更多的思考以及对情节、内容的理解。

  通过分析正、负性影片在不同视觉模式下不同频带的脑区地形图,我们发现在观看负性视频时,不同视觉模式下的脑电信号在枕区出现显著差异,VR-3D模式下的枕区活动更加剧烈。而在观看正性视频时,两种模式间产生显著差异的脑区增多,VR-3D模式下更多脑区被激活。针对负性视频的分析结果我们推测,由于负性视频呈现的场景较为昏暗,被试者在观看的过程中感受到的立体感差异相较于正性视频会有所减弱,因此,观看负性视频引发的大脑皮层活动的剧烈程度会有所衰减,导致观看负性视频时出现显著差异的脑区减少。

  综上所述,VR-3D模式下的β波段脑电能量显著高于VR-2D模式。β波被认为是测量认知和情绪过程的有用指标,将脑电信号中的β波节律用于情感状态识别是可行的[],β波的活动与唤醒状态有关[],然而β波的脑电活动也能很好地反馈视觉注意处理活动[]。本实验中,VR-3D模式下被试者β波活动更加活跃,与VR-2D模式下的β波能量产生了显著差异,这一差异可能是由唤醒度的上升造成的,但在立体视觉模式下被试者的注意力更加集中[],β波的活跃也有可能是由视觉模式的不同带来的注意力集中度不同引起的,因此,未来的研究中可以增加对唤醒度和电生理研究结果的相关分析,以进一步明确这种生理反应和唤醒度之间的关系。

  在本次实验中,观看VR-2D与VR-3D的影片产生了不同的α波震荡,VR-3D模式下的α波段脑电能量值高于VR-2D模式,且在枕区α波段的能量在VR-3D模式下显著上升。α波段的脑电信号节律在一定程度上也可以反映唤醒强度的高低[],因此,我们推测VR-3D模式下α波段脑电信号的上升可能反映出该模式下唤醒度的提高。同时,α波段出现的差异也可能是由视觉疲劳引起的。基于视觉显示终端引发的视觉疲劳是指长时间注视视屏终端引发的一系列眼睛不适等综合症状[]。Zou等[]利用灰色关联分析(grey relational analysis,GRA)来评价脑电图指标对立体视觉疲劳的测量效果,结果表明在各种脑电图指标中,α波段的数据是检测立体视觉疲劳的最优指标,且能量的增加与立体视觉疲劳有关。在本文实验中,VR-3D模式下枕区α波能量显著高于VR-2D模式。研究表明,枕区是视觉特征检测区,且α波频段能量的增加与立体视觉疲劳有关[];同时,也有一些研究发现,观看立体影片给观看者带来的视觉疲劳程度更高[]。因此,本文推断α波段脑电数据的显著差异可能是由于持续观看VR-3D视频带来的视觉疲劳引起的。当然单一的α波指标对疲劳程度的判断较为粗略[],对于持续观看立体影片引发的疲劳度问题后续可以配合心电、眼动、主观问卷等数据进一步分析。

  由SVM分类识别的结果可知,颞区、额区和枕区对VR-2D和VR-3D两种视觉模式的脑电信号差异识别准确率较高,分类效果较好。枕区和颞区是简单视觉特征和运动特征提取区[-],分类识别结果表明被试者在VR环境中处理2D与3D视觉信号时能够引发大脑皮层枕叶和颞叶活动的差异,能够较为准确地分辨VR影像的视觉模式,对3D影像的识别与特征的提取具备敏感性。额区的高分类准确率表明在高级认知区域,VR-2D和VR-3D两种模式间的脑电信号活动表现出较大区别。我们推测,在观看不同视觉模式的VR影片时,被试者会产生差异较大的高级认知活动,总体来说,β波段分类效果较好,观看VR-3D影片时,被试者的注意力更加集中。该分类结果与客观数据分析结论相匹配,印证了β波段的脑电信号可以作为分辨VR-2D和VR-3D两种视觉模式的有用指标,脑电信号在该波段产生了更大的差异。

  通过计算4个波段5个脑区的平均分类准确率可知,基于人脑β3波段的平均识别准确率最高,达到78.34%,因此,β3波段可以作为衡量VR-2D与VR-3D模式差异的重要参考指标。

  本研究通过开展认知心理实验采集分析脑电数据,对比不同情绪刺激下诱发的脑电信号特征,评价了VR-2D和VR-3D两种不同的影像模式对情绪唤醒产生的作用,研究结果证实了3D环境下的VR影片刺激会产生更强烈的大脑皮层活动,一定程度上带来了更强的生理反应。但由于目前拍摄、放映设备研发进度缓慢,传输带宽有限,该类影片无法得到广泛的应用与传播。在未来5G技术成熟以后,VR-3D影片的应用前景将被拓宽,在传输和制作方面的局限会进一步缩小,有望得到更广泛的使用。但是,我们也发现现有技术手段下的VR观影会带来更高的疲劳感,未来需要更好的解决方案。同时,本文利用SVM对两种观影模式下的脑电信号进行特征的识别与分类,发现β3波段的脑电信号可以作为衡量VR-2D与VR-3D模式差异的重要参考指标。

  总之,本研究为VR-3D影像的应用提供了理论支持,在5G技术的加持下,VR-3D影片的制作、传播瓶颈会逐一突破,届时,VR-3D影像的优势会逐步凸显。同时,本研究也为今后进一步探索观众对不同观看模式、不同类型的VR影像感知的过程提供了新的思路。

  重要声明

  利益冲突声明:本文全体作者均声明不存在利益冲突。

  作者贡献声明:田丰主要负责项目主持、平台搭建、算法程序设计、协调沟通以及计划安排;张文睿主要负责实验流程、数据记录与分析、论文编写以及算法程序设计;李颖洁主要负责提供实验指导、数据分析指导、论文审阅修订。

  伦理声明:本研究通过了上海市临床研究伦理委员会的审批(批文编号:SECCR/2018-15-01)。