55 / 2023-10-23 16:35:43

具有功能应用独立性的非接触式手势交互通用模型

当前沉浸式分析已广泛应用于各类沉浸式数据可视化，例如流场可视化、沉浸式网络可视化、沉浸式地理信息数据可视化等。非接触式手势是一种无负担、不需要手持任何硬件设备的新型交互方式，具有高自定义化、低疲劳等特点。当同时也存在着一些弱点，高度自定义化导致大多数手势动作都具有唯一性，难以成为通用的交互范式与手势交互动作。

为了应对沉浸式分析领域下缺乏通用型手势交互动作与通用手势交互范式的窘况，本作品基于非接触式手势动作，通过对各类沉浸式可视化中的领域数据进行调查研究，挖掘出能够跨领域的通用型手势动作，包括旋转、平移、缩放等手势。我们设计了一个非接触式手势交互的通用模型，基于Unity3D开发并使用Leap Motion作为手势动作捕捉设备，最终将其打包为unity的package。该模型中截止目前已设计14种手势交互动作，用户可直接通过预制件的方式直接使用该手势动作进行编码，极大减少了编码负担。为了符合大多数人的交互习惯，这些手势动作

都经过了多项沉浸式分析下的交互任务的检验并使用SOTA微表情评估模型进行评估并于李斯特量表评估结果进行交叉验证以确保交互范式是符合用户行为心理学的。