163 / 2022-10-06 09:38:51

面向智能实验的智能手套及其应用

智能手套,虚实融合实验,意图理解,多模态融合,人机交互

B. 普通高校组-学术类 > D3组：增强现实、混合现实

       在人机交互领域中，传统的键盘与鼠标输入越来越不适用于自然交互场景，智能数据手套的出现为人机交互提供了一种更加自然的交互工具。与基于视觉的交互方法相比，使用智能手套的人机交互不受摄像头视野区域约束，不被使用空间所限制且具有反应灵敏，实时性好，精度高，用户沉浸感强的优点。并且多通道人机交互方式 (MMHCI) 在移动交互和自然交互存在着更为广泛的应用潜力，如智能家居、智能人机对话、体感交互等。传统的单一通道人机交互方式，如较为广泛使用的鼠标键盘, 或者基于笔触的图形界面交互方式，因为输入设备信息精确和直观，无法到达真实感和沉浸感，所以，多通道融合交互技术提高了交互的效率。与此同时，混合现实技术（MR）是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

       在现阶段中学实验教学过程中，部分实验用品危险性较高，倘若学生操作不当，则会对学生的安全带来威胁。其次，部分实验的实验过程危险性较高或者实验材料较昂贵，在实际的课堂教学中往往采用视频展示的方式开展实验教学。这种方式虽然能够使学生了解该实验的实验现象，却难以保证学生对实验机理以及重要实验操作深入理解。虚拟实验平台的出现虽然为以上问题提供了解决方案，但普遍存在实验操作感差，实验沉浸感较弱的问题。随着研究的发展，混合现实环境下的虚拟实验在教学过程中发挥了重大作用，主要体现在知识综合性、教学创新性和实验应用性等方面，有效提高了学生分析问题、解决问题的能力。

       因此，本项目设计了一种面向中学实验教学的智能手套硬件结构，允许用户通过虚实融合的方式进行实验，增强用户的实验沉浸感，提升学生的动手操作能力，进而弥补部分虚拟实验平台存在的操作规则多、用户记忆负荷较重、探究性较差的不足。与此同时，该智能手套系统中采用语音通道、传感器通道、场景感知通道相融合的方式进行交互，该设备不仅能够收集用户实验过程中产生的行为数据，还能够基于这些数据对用户的行为、实验场景等信息进行多模态感知与识别。本项目在Unity平台中，建立了智能化学实验系统，用户佩戴智能手套能够在该系统中操作真实的实验设备，弥补了采用虚拟实验教学缺乏实验操作感的不足。在系统中使用智能导航式交互范式监控并引导用户的行为，提升了系统的交互效率，减低了用户的认知负荷，使用户能够更加专注的进行化学实验探究。