225 / 2022-10-06 22:18:12

基于原地姿态的元宇宙场景漫游技术

姿态输入,虚拟现实,虚拟漫游

B. 普通高校组-学术类 > D4组：自然人机交互

作品简介

虚拟漫游是指用户控制虚拟视角，在3D虚拟空间中漫游，从而从视觉上感受到身体位置在虚拟空间中的转移。常用的基于手柄控制的虚拟漫游方法真实感不足，且易导致眩晕。一个理想的、具有沉浸感的方式是通过追踪器跟踪用户的真实位置来控制角色漫游，但该方法在实际应用时, 会掣制于房间大小。因此有人提出在通过原地运动的姿态来驱动虚拟角色漫游，这种方法不需要很大的空间, 且兼具沉浸感与真实感。

基于原地姿态的虚拟漫游方法通常可被概述为姿态识别模块和角色行为控制器两个模块。识别模块实时地识别用户的姿态输入, 行为控制器将特定姿态输入映射为预定义的虚拟漫游行为。该方法的核心问题是如何准确快速地识别原地姿态。近期的研究通常使用可穿戴传感器采集人体姿态信号，并输入到CNN 或 LSTM 等神经网络模型中来识别特定模式（站、坐、走等）。然而，先前工作能识别的模式类别较少，或者延迟较高。

为此，我们分别提出了两种新颖的方案：使用端到端点云学习对原地姿态进行分类、通过长期记忆增强网络进行原地姿态分类。我们邀请了25名志愿者，使用可穿戴传感器采集运动姿态信号，创建了具有11种姿态的大规模的原地姿态数据集。经测试，我们的新方法分别以192ms、312ms的延迟实现了95.1%、97.3%的准确率，优于近期其他原地姿态分类技术。

我们方法的论文已分别发表在国际虚拟现实顶级会议ISMAR 2021和2022上。项目基于PyTorch，使用VSCode等软件在国产信创平台UOS上开发，数据集和源代码均已开源。



创新及实用性

我们提出了创新的点云学习方法，对传感器姿态时序信号进行分类。我们将头戴式显示器和佩戴到用户左右大腿上的两个追踪器在连续几帧提供的数据视为一个点云样本，其中每个点具有12维度的特征，包括对应设备的三维位置坐标、旋转角度、移动速度和角速度。

在先前方法的基础上，我们进一步提出了创新的改进方法：长期记忆增强网络。在训练阶段，我们将长序列姿态时序样本存入记忆存储模块中，这些长序列样本可以通过相似度匹配方法查询得到，为实时推理阶段输入的短序列姿态样本提供额外的时空特征。此外，我们设计了一种记忆增强损失函数以在特征空间中聚类同一类别的样本特征，进一步提升了姿态分类准确率。

虚拟漫游作为大部分3D电子游戏的基本功能，在元宇宙中有广泛的应用。我们提出的基于原地姿态分类的虚拟漫游方法能提供具有沉浸感与真实感的漫游，同时避免房间大小限制；我们的方法具有低输入延迟（192ms）与高精确度（95.1%），同时支持步行前进与后退、左右平移、跑步前进、坐下、蹲下、跳跃、踢腿等11种姿态，极大地提升用户在元宇宙系统中的实感，具有广阔的应用前景。