324 / 2022-10-31 21:04:27

基于机器学习的Leap Motion手势识别与VR三维交互技术

手势识别,LeapMotion,Virtual Reality (VR)

       随着计算机技术、三维显示技术和人机交互技术的高速发展，虚拟现实技术不断进步与成熟，逐渐发展成为一种新型媒体手段和资源，在各领域大放异彩。目前市面上的VR设备，用户交互的方式主要依靠绑定的手柄，虽然各大厂商的VR手柄的按钮、遥感交互在一定程度上实现了类手指化操作，但还是存在体积大，操作复杂的缺点。Leap Motion作为一款成熟的手势运动跟踪设备，不仅可以应用于2D桌面，在三维引擎中也具有对应的SDK，如Unity3D、Unreal引擎中。UE4引擎中Leap Motion SDK集成了两种手势动作的识别，分别是抓取、捏手势。但由于常见的VR手柄上支持的交互操作种类远不止两种，因此UE4中Leap MotionSDK集成的两种手势动作并不能满足常规虚拟场景的使用。基于此，本文提供了一种通用方法，基于机器学习的随机森林算法，利用 Leap Motion手势运动跟踪设备，对自定义的手势数据集进行训练，搭建手势识别分类模型，并将其应用于虚幻引擎虚拟场景中，摆脱了手柄束缚，实现虚拟场景新的人性化交互方案。