手势识别技术

    着计算机的高速发展,人机交互模式也不断发生着变化。现实生活经验可得,人与人在交互过程中,肢体语言也非常重要,如果使用手来实现人机交互,比起使用键盘,鼠标等媒介而言,更加自然流畅,于是我们需要一个会学习,能记忆手势的机器,它会让我们的生活变的不同:试想一下你将不再需要像遥控器、电灯开关这些东西。在一片黑暗中躺在床上想开灯,只要用手指向天花板就行了;向空中挥一挥手,就能调高空调温度;两只手摆出一个“T”的手势,就能打开电视机。在机场、车站、停车场等公共场所,智能化计算机能够根据人的肢体语言,自动辨认出哪些人可能感觉不适,哪些人形迹可疑。计算机会教会人们使用肢体语言---主要是手势语,可以让你以更便捷和更有效率的方式和重听人士交流。所有这一切,都要依靠于手势识别技术的突破。

    而使用手来实现人机交互,其原理就是机器对手的解释,如手的形状,手的空间位置,手的姿态等。手的识别方法有很多,有的是利用配套设备,如加速度传感器等,而我们用的识别技术是基于视觉的手势识别:利用深度摄像机Kinect作为传感设备。

1、应用领域

智能家居:

    人体动作-语音感知系统通过3D体感摄影机捕捉人手部动作,识别人的动作意图,可实现对室内照明、窗帘及家电的方便自然控制。

健康医疗:

    对于某些特殊病人的看护,病人可以通过手势来表述需求,减少护士工作量。

手语识别:

    可以帮助通过手势识别帮助人们与聋哑人交流。

外科手术:

    可用于医院的手术室,医生只需挥舞双手即可以控制电脑,在手术中得到更清晰的图像,而且还能避免因接触引发的细菌感染。

游戏:

    体感信息采集使得游戏体验者彻底摆脱传统输入设备的束缚,更投入游戏当中,创造出更为真实的场景及游戏体验感觉。

2、技术关键点:

    随着机器视觉技术的发展,深度摄像头吸引了越来越多人的目光。深度摄像头可以用在人机交互、人体跟踪、三维重建、SLAM 等领域。相比于传统的 RGB 摄像头,深度摄像头具有环境光不敏感的特点,可以适用在复杂的环境中。因此我们将深度摄像头用于手势识别中。

    采用的硬件设备主要有Kinect,PC/嵌入式平台。主要研发方法如下:

① 人手检测

    通过Kinect得到深度图片和彩色图片,对图片数据进行分析,利用深度信息分割出整个手臂,RANSAC算法分割出手;分别以归一化的角度和距离作为横纵坐标,画出时间序列曲线,描述手势。

② 特征选择

    这里采用两种不同方法:a. Near-Conver形状分解法,此方法对于像手势这种不规则的任意图形效果比较好,能得到最少并且最自然的分割结果,由此选择特征;b. 提取STIP特征,STIP时间空间兴趣点是harris角点的扩展,是一种很好的视频特征。

③ 手势分类识别

    同②这里也采用两种不同方法:a. FEMD距离测量,计算手势和所有模板手势间的FEMD值,最后进行模板匹配;b. 随机森林算法,随机森林是一种包含多个决策树的分类器的数据挖掘算法,对大样本分类效果很好。

3、技术支持

    微软-电子科技大学Kinect教育与开发项目,2011年09月-2012年09月。