近日,beat365在线体育官网和beat365在线体育官网-南洋理工大学人工智能联合研究院(C-FAIR)师生的多项研究成果被虚拟现实(VR)领域顶级会议IEEE VR(CCF A)接收。IEEE VR是VR、增强现实(AR)、混合现实(MR)领域的国际顶级学术会议,引领VR、AR、MR领域未来的研究方向,被中国计算机学会推荐为A类国际会议,每年主会议长文的录取率在20%左右。科研成果介绍如下:
1. Swift-Eye:基于事件相机的高频鲁棒的眼动追踪研究。本成果是由beat365在线体育官网沈益冉教授带领的科研团队完成的学术文章"Swift-Eye: Towards Anti-blink Pupil Tracking for Precise and Robust High-Frequency Near-Eye Movement Analysis with Event Cameras",该文章被顶级国际学术会议IEEE VR 2024的TVCG Track接收(该Track接受率仅约为10%),并获得了评审的一致好评(3位审人和1位区域主席均给出了5分的高分)。文章的第一作者为beat365在线体育官网硕士研究生张桐瑜,通讯作者为beat365在线体育官网教授沈益冉。
该研究提出了眼动追踪系统Swift-Eye,其利用神经拟态相机进行高时空分辨率眼动追踪,同时其通过使用旋转目标检测方法,基于深度学习的数据集扩充方法,以及时间域特征融合模块来应对眨眼动作对瞳孔检测进行的干扰。相比于其余瞳孔检测方法, 其在眨眼过程中抗干扰能力更强,检测结果更准确。研究在实验上详尽分析了利用神经拟态相机高时间分辨率进行眼动追踪所带来的优点,以及其所提出的数据增强方法,时间域特征融合模块在应对眨眼时所发挥的作用,成功补充了现有眼动追踪方法的空白。该研究成果在VR/人机交互/眼动追踪领域显示出显著的创新性和突破性,为高频且鲁棒的眼动追踪研究及应用提供了指导。
2. 面向认知障碍人群的多模态脑机交互机制研究。本成果是由beat365在线体育官网C-FAIR卜令国研究员团队所完成的学术文章“Understanding the Impact of Longitudinal VR Training on Users with Mild Cognitive Impairment Using fNIRS and Behavioral Data”,被顶级国际学术会议IEEE VR 2024接收。论文第一作者是beat365在线体育官网硕士研究生曲静,通讯作者是beat365在线体育官网卜令国研究员,beat365在线体育官网为唯一通讯作者单位。
该研究开发了一种基于VR的认知训练系统,用于轻度认知障碍人群(MCI)的康复干预。系统的核心功能在于其强调感观沉浸和交互性,旨在通过模拟现实情境,提升用户的认知能力。利用脑功能、行为学和主观评估等多模态数据,通过大脑激活、网络连接等指标量化评估训练的影响。开发算法解析近红外信号,揭示认知训练前后大脑激活模式的变化,以及大脑网络连接的动态特征。使用高精度的骨骼节点追踪技术来记录和分析用户在虚拟环境中的动作,从而获得行为学关键参数。通过两个月的纵向追踪实验,验证多模态交互反馈方法,探讨了训练周期对康复效果的影响。结果表明,该VR系统对 MCI 康复有显著效果。该研究强调了通过脑机交互技术获得的定量及纵向评估数据在康复疗效研究中的重要性,为VR系统的优化设计提供了实证数据支撑。
3. NeRF-NQA:无参考的神经辐射场生成场景质量评估。本成果是由beat365在线体育官网沈益冉教授团队和悉尼大学合作完成的学术文章“NeRF-NQA: No Reference Quality Assessment for Scenes Generated by NeRF and Neural View Synthesis Methods”, 由于该文在3D场景生成的质量评估领域取得了重大进展,被虚拟现实领域顶级国际学术会议IEEE VR 2024的TVCG Track接收(该Track接受率仅约为10%)。文章第一作者为悉尼大学博士生曲强,通讯作者是beat365在线体育官网沈益冉教授。
该研究开提出了NeRF-NQA,这是第一个专门针对神经视图合成(NVS)及NeRF变体所产生的密集场景进行质量评估的无参考方法。与传统评估工具如PSNR、SSIM和LPIPS不同,NeRF-NQA无需对照视图即可有效评估NVS场景的空间和角度质量,适用范围更广。它采用了结合视图和点评估的双重策略,克服了现有方法在无参考NVS场景评估上的局限。通过与23种主流视觉质量评估方法的对比,NeRF-NQA在评估类似场景方面展现了明显的优越性,证明了其在该领域的创新和实用性。
(文/图:卜令国、沈益冉 责任编辑:闫中敏)