54 / 2022-10-04 11:06:33

形声之境

Leap Motion,MIDI键盘交互,Unity3D,VFX Graph,Bolt可视化编程,音乐可视化技术

A. 普通高校组-应用类 > A3组：智能互动（VR+头盔设备、VR+生活娱乐、VR+游戏、VR+AI等）

在传统音乐教学课堂的教学方式里，老师会用到一些乐器或者音乐道具在课堂上进行演示和学习，而孩子在跟随老师的指引下进行节奏，听音的练习和音乐欣赏。这种学习过程依靠于老师的指引和演示。为了达到学习的目的，调动学习者不同的感官和交互反馈的过程十分重要。针对特殊人群的教学中也可以使用交互软件来辅助老师开展教育活动。

此次软件产品面向的用户是老师和具有听力损伤的儿童，其中听障儿童在听力上存在不同程度的缺失，对调动其他感官来参与学习活动的需求高于普通学生。这也就要求了计算机辅助教学工具需要具备更好的交互性和实时性。因此本选题选取了音乐可视化技术对音乐元素进行可视化效果的实现，并通过可交互的体验场景来增加音乐课堂的趣味性和参与度。

本系统是以提高听障儿童在音乐启蒙课堂上对音乐元素的理解，并能一定程度上弥补他们的感知能力为目标的交互软件产品。产品中以实现音乐可视化的体验场景为首要目标，除此之外需要进一步增加产品的可交互性和实时反馈性。其中包括音乐欣赏功能、手势互动功能、键盘感知功能、实时反馈和人工智能生成音乐的功能。在课堂的使用过程中，教师可以带着具有听力损伤的学生参与体验，通过互动的方式来加深学生对音乐元素的理解，以增加学习乐趣