27 / 2022-09-24 20:31:26

指尖物理-虚实融合物理交互仿真系统

人机交互,手势识别,流体模拟,各向异性；物质点法；离散元法；多尺度模拟,三维重建

A. 普通高校组-应用类 > A3组：智能互动（VR+头盔设备、VR+生活娱乐、VR+游戏、VR+AI等）

本作品是一个涵盖VR/AR功能的物理实时交互仿真系统。

通过综合运用VR技术、AR技术、实时物理模拟技术以及各向异性的渲染技术，本作品呈现了一个使用便捷、交互自由、物理真实、内容丰富、性能优越、结构完整的仿真交互体系，大幅拓展了虚拟现实领域交互仿真的应用边界。

本作品的技术要点分为以下四个部分：

1.实时物理仿真：基于MLS-MPM算法，实现水（弱可压缩流体）、雪（弹塑性物体）、果冻（弹性物体）等多种材质物体的实时模拟，物理效果真实，性能优越；

2.VR手势交互：使用LeapMotion实时识别手势，在此基础之上对虚拟手进行体素化，建立三级手势模型控制虚拟手的运动,实现虚拟手与虚拟物体的交互，过程完全基于物理实时运算，不需要任何预训练；

3.AR场景还原：使用RealSense扫描现实场景并重建，与虚拟物体和虚拟手双向耦合，进行交互体验；

4.各向异性渲染：在传统屏幕空间渲染的基础上实现了粒子的各向异性渲染，大幅提升渲染质量。

以上内容均已在Unity平台上集成实现，核心算法代码使用Vulkan和OpenGL，具有良好的可移植性。

通过与Obi Fluid和Nvidia Flex等软件对比，在相同条件下，本项目的运行效率为Nvidia Flex的6倍，Obi Fluid的60倍，此外，本项目在家用电脑上运行百万数量级粒子的帧率可保持在150FPS以上，性能优势显著。