431 / 2024-09-15 00:03:58

AR机器人手势控制与虚实同步

研究基于AR技术和手势操作控制，提出了一种虚实融合的工业机器人操作系统。通过HoloLens设备结合MRTK工具包进行手势识别，用户可以使用自然直观的手势来控制工业机器人，在操作简便性、效率和实时性方面显著优于传统方法，能够有效降低操作难度、提高灵活性和安全性，同时具备在远程操作、虚拟培训和智能维护等新兴应用领域的广泛潜力。同时通过结合手势识别与姿态映射的人机交互方法，使本地操作人员能够更高效地进行远程机器人的轨迹规划，从而克服了传统系统对特定接口和编程工具的依赖，显著增强了操作的灵活性。同时，提出的远程AR配准方法通过使虚拟机器人与物理机器人坐标系重合，实现了虚实双向联动，解决了信息延时反馈带来的同步精度低和轨迹跟踪偏差大的问题，显著提高了远程协作的效率和实时性。