人体动作辨识技术多媒体教学研究

人体动作辨识技术多媒体教学研究

摘要:

本文介绍了一种基于体感识别技术的多媒体教学控制系统,是一种结合计算机控制技术、体感识别技术的产物。硬件部分以计算机为控制中心;KINECT2.0为人体检测识别模块。可以达到使用者在不接触鼠标键盘等计算机输入部分就可以达到控制计算机的目的。主要用于教学,演讲,路演等多种需要使用多媒体设备的场合,提高控制多媒体控制的适用性,灵活性和美观度。

关键词:

多媒体教学;KINECT2.0;体感识别;无线串口WIFI;人机交互自然性

多媒体教育控制系统是以多媒体教学为平台,教学为主要控制对象,利用综合布线技术、自动控制技术、音视频技术将教学有关的设施进行高效集成,构建高效的电子教学设施与教学内容的控制管理系统。现在的多媒体教学中,多采用鼠标、键盘直接控制和红外线遥控器控制等多种方法,随着科技的发展,尤其体感技术的逐渐成熟,对于多媒体的控制又有了新的发展空间,我们认为体感技术与多媒体控制技术相结合会增强控制的灵活性和适用性,同时给使用者带来了全新的教学方法和教学体验。同时通过这套控制系统无线控制非计算机的教学设备。

1设计来源

在多媒体教学中,目前可以采用键盘、鼠标直接控制计算机,以达到对多媒体的控制,此种方法控制直接,但教师或其他使用者不能脱离计算机一定范围,并且在教学过程中还要保持日常使用计算机的姿态,给使用者带来了不便。随着多媒体教学的普及,出现了用外线遥控器来控制多媒体,这种方法解决了前者带来的问题,这也是现在教学中常用的多媒体控制方案。随着科技的发展,尤其体感技术的逐渐成熟,对于多媒体的控制又有了新的发展空间,所以以上几种方式都有一个共同的不足,就是都要通过手与控制终端接触做出一定的操作控制,而很多时候我们的手跟控制器的协调达不到一致,不需要肢体与控制器接触就能控制会更加方便、灵活,以自然的方式进行人机交互也逐渐成为了发展趋势。

2设计所使用的相关技术

随着科学技术的高速发展,更高层次的人机交互理念对交互方式提出了巨大的需求,众多科研人员开始对新的交互技术的多通道界面展开研究,目前的研究内容主要是集中在手势输入、语音识别及感觉反馈等方面。而Kinect体感技术的出现为促进人机交互的发展具有重要意义,Kinect作为新一代的体感设备,可以依靠实时捕捉使用者的动作、面部识别及语音识别就可以达到输入功能。这一特性很好地填补了现有人机交互技术的缺陷,并且促使Kinect体感技术成为人机交互领域的一个研究热点。与传统输入设备不同的是,Kinect设备可以实现直接用使用者的身体来控制终端,用这种最自然的方式与终端进行交互的特点贴近了人机交互对自然性的要求,Kinect体感技术对人机交互理念的实现起到了重要的促进作用。因此研究Kinect体感技术在人机交互领域中的应用对其今后的发展具有很大的必要性。自从Kinect到现在,它以其方便的人际交互性,被多个行业和领域广泛应用:虚拟应用:可以将Kinect应用在虚拟乐器,虚拟实验,虚拟娱乐等方面。

3本设计的主要内容

本系统设计旨在设计一个根据人体动作来控制信息设备的多媒体教学控制系统。该系统由上位机子系统和下位机子系统两个部分组成。具体又包括体感识别模块、无线数据传输模块和电教设备遥控模块。体感识别模块会把摄像头捕捉到的人体姿势传到模块,体感识别模块会对其做出相应的解读,并将其传给电脑。电脑通过上位机传送数据,WIFI模块通过局域网和电脑连接,WIFI模块接收到电脑传过来的数据后,通过串口把数据传输给单片机。单片机通过WIFI模块接收到电脑传送过来的数据依据下位机程序做出相应的反应,从而控制对应的电器工作。用户可根据上位机界面查看人体动作。程序调试主要采用先将各部分的程序分开调试,再将各个程序整合到一起的思想。本设计的程序主要包含对人体动作识别的程序、无线数据传输程序、多媒体控制技术和上位机界面的编写程序,其中人体动作识别程序和无线数据传输的程序也是本设计的重点程序。最终将人体动作识别的程序整合到无线数据传输程序和计算机多媒体控制中去,以构成本设计的完整程序。

4系统总体结构

本系统工作原理如下:利用和结合Kinect3D体感摄影机实时捕捉人的三维动态信息,并对其进行解读,然后把其发送给电脑,电脑通过上位机传送数据,WIFI模块通过局域网和电脑连接,WIFI模块接收到电脑传过来的数据后,通过串口把数据传输给单片机。单片机通过WIFI模块接收到电脑传送过来的数据依据下位机程序做出相应的反应,从而控制对应的电器工作。本次设计的查询平台由上位机子系统和下位机子系统两个部分组成。上位机子系统由Kinect传感器模块、电源模块、串口通信模块、计算机等组成;下位机子系统由控制芯片STM32单片机、串口通信模块、电源模块、信息设备控制模块。Kinect设备识别人体动作后,通过USB传输线把Kinect接收到的信息发送给计算机,经过处理器对数据进行处理,然后通过串口通信将人体动作数据表达的控制指令传给计算机,此时用户可通过上位机的可视化界面观看人体动作。

作者:姜岩松 刘洋 单位:东北石油大学电气信息工程学院

参考文献

[1]李广弟等.单片机基础[M].北京:北京航空航天出版社,2001.

[2]王东峰等.单片机C语言应用100例[M].北京:电子工业出版社,2009.

[3]刘守义等.单片机技术基础[M].西安:西安电子科技大学出版社,2007.

[4]李平等.单片机入门与开发[M].北京:机械工业出版社,2008.