近期，美国专利商标局公布了苹果一项与AR手势识别相关专利，专利中指出了一种通过生成手指3D模型来识别手势和触碰虚拟物体的方案。苹果在专利中写道，使用者可通过旋转手指，并与AR头显摄像头前的物理环境互动，以此来登陆账号。
那么，整个手势识别方案是如何实现的呢？首先，利用iPhone或iPad设备，识别并生成用户的3D手部模型，并实时追踪3D手势的变化，与AR头显同步。AR头显根据iPhone或iPad追踪的动态3D手势模型来进行手势追踪，并对不同的手势做出相对的反应。
为了避免手指与物理环境之间的遮挡影响追踪效果，该系统同时会生成手部和所接触物体的3D模型，通过对两个模型的分析来提取和优化深度数据。此外，还将采用ICP算法、基于轮廓对齐的算法来实时更新3D手势模型与实时手势之间的变化，识别手指触碰。