摘要：为了能够实现在智能家居背景下的远程虚拟控制，解决传统家居安防系统中所存在的资源浪费，无法高效率控制的技术弊端，文中提出一种基于卷积神经网络的室内虚拟控制系统设计思路。将RaspberryPi3b+和CIS摄像头连用作为设计的硬件配置构成，通过摄像头获取室内的相关图像数据，并运用计算机系统对图像数据进行判断，根据判断结果实现对室内虚拟控制。文中首先概述了室内虚拟控制采用的机器人抓取卷积神经网络模型，并说明此次室内虚拟控制系统设计的软硬件系统配置。在系统硬件配置部分选用STM32F103C8T6型号作为系统的主控制器，设计语音控制功能模块和串口屏用于存储控制代码、图片、字库等内容。在系统软件部分设计行人检测，对人脸识别的图像进行预处理、特征提取、匹配识别。实验结果表明，所提系统能够提高室内虚拟控制移位抓取的精准度，提高控制操作简便性。
关键词：卷积神经网络；室内虚拟控制；移位抓取；人脸识别；系统设计；仿真实验
0引言
随着信息化技术水平的不断提升中，相较室外控制系统，在室内实现虚拟控制技术需要更精准定位的控制技术。再加上室内的场景图像复杂度更高，对于定位精准度要求也就更高，无法精准定位获取准确的图像内容，就无法获得高效率准确的室内虚拟控制效果。在硬件技术的发展过程中，机器人抓取控制逐渐发展到由智能算法来抓取任意物体。因为机器人抓取系统领域的复杂度较高，所以对机器人控制算法提出了更高的要求。如今的工业机器人的抓取计算中，仍需要依赖原本建立的物体抓取模型。整理数据库对于非结构抓取而言，需要建立能够实时预测环境并且可以快速整定的抓取规则算法。基于此，在本次研究中将卷积神经网络算法引入室内虚拟控制系统设计中，通过优化室内环境信息抓取的准确性，建立室内图像抓取位姿映射关系，并设计该室内虚拟控制系统的软硬件配置，以真正提高室内控制效果。
1卷积神经网络定位算法概述
图1中：CNN1为立体序列与视觉定位卷积神经、CNN2为网络单视图深度卷积神经网络。立体序列学习框架结构能够成功突破单目模糊尺度这一情况，根据时空保证系统可以做到一致性检验。一般像素坐标系中：原点o′处于图像左上角，u，x两轴平行，v，y两轴平行。因此像素坐标系及成像平面存在一个缩放和一个原点平移相差。假设u，v两轴分别对像素坐标进行α，β倍缩放，即αx1为fx，βx1为fy。这时[c]x,cyT作为图像中心坐标，P′坐标和[u],vT像素坐标矩阵表达公式如下：式中：K表示相机的内参。因为室内相机处于持续运动状态，那么P点的相机坐标可以记为PW，以相机所处当前位置转变相机坐标系结果公式如下：由式（2）可知，等式右侧转变了世界坐标系下齐次坐标为相机坐标系下。为了能够相乘，K应当取三维组成向量值，之后以齐次坐标方式完成最后维的归一化处理，获得相机归一化平面中的P点投影，如下：据此获得Pc为经归一化处理后的坐标，其处于相机前方Z为1时的平面中，即归一化平面。因为Pc经内参能够获得像素坐标，因此可以将[u,v]T坐标视为归一化平面点完成量测。
2基于卷积神经网络算法的机器人抓取模型设计
2.1机器人和物体接触力。在室内虚拟控制过程中运用机器人抓取物体时，机器臂的末端抓手会经多个接触点关联物体，这时在接触点定义所在坐标系。根据三个不同的维度设计了坐标轴z,x,y；接触点的上切平面定义单位法向量c；p,q作为与右侧定则相符的切平面互相垂直的两个单位向量，图2为构建的机器臂和物体抓取点坐标系。
2.2物体抓取卷积网络建模。完成室内物体和机器人的接触抓取模型g={x},y,d,θ之后，设计物体抓取卷积网络模型。为了有效提升机器人的物体抓取准确性，将传感器所获的深度图像作为卷积神经网络输入。最终呈现全卷积形式完成卷积网络输出层设计，这样能够有效减少网络训练参数。为了增强网络底层数据利用率，本次室内虚拟控制设计中运用了基础网络残差单元，在输出网络中进行归一化处理。卷积网络模型所需处理相关参数包括抓取宽度、角度、位置和概率。具体的抓取概念应当先用二进制标记传感器输出图片，之后设置对应区域值。控制机械手在[-90°，90°]区间的抓取范围，设计的抓取角度为sin(2θ),cos(2θ)。为了保证控制卷积输出层的最终输出值在1以内，在对抓取宽度求解过程中需要控制深度相机在二指夹持器之间的宽度保持为50像素。
3基于卷积神经网络室内虚拟控制系统设计
3.1总体构思
本次设计运用了RaspberryPi3b+和CIS摄像头连用作为硬件配置构成，其能够经摄像头成功获取室内的相关图像数据，并运用计算机系统对图像数据进行判断，再根据判断结果实现室内虚拟控制。在成功获取图像数据后，需对有无人行走以及行走主体进行判断，并将判断结果经STM32控制操作室内灯光，向STM33发送输入信号。如果发现行动主体是陌生人，可以通过RaspberryPi3b+及时向主人远程发送消息提醒，并且主人也可以根据情况经STM32控制语音模块发出语音警报信息。
3.2硬件配置
3.2.1RaspberryPi3b+。本次虚拟控制系统设计选用了RaspberryPi3b+连接摄像头，其能够控制摄像头所采集的相关图像，从而远程控制摄像检测行为与启动人脸识别软件程序。根据检测结果，如果是陌生室内人员，需要及时发送用户提醒。通过向STM32发送信号，以实现对系统语音模块的实时操控，并发送语音提醒。RaspberryPi3b+作为同系列产品内的新一代产品，其设计了BCM2837B0的SoC，可以集成运用于64位计算机的CPU，1.4GHz主频，还设计了无线通信控制接口，能够支持2.4GHz及5GHz的双频WiFi，并支撑IEEE802.11b/g/n/ac，运用LAN7515千兆以太网拓展，极大程度提升了网络速率，可达到300Mb/s的吞吐量，所以具备较强的应用性能。
3.2.2CIS摄像头。为了方便采集图像音频，在本次虚拟控制系统设计中运用CSI接口摄像头。CIS摄像头具有OV5647型感光元件，2.9光圈和3.29焦距，能够支持摄影像素达1080P/720P/640×480P，静态图案品可达2592×1944分辨率，并且运用这款摄像头还能够在后续使用中跟随系统升级，用户自主配置USB接口摄像头简化操作。本设计中，摄像头自动搜索拍摄用户在室内行走的人脸图像，并提供给RaspberryPi3b所需的人脸检测识别图像数据信息。运用CIS接口摄像头模块，可以达到65°室内摄像视角，像素最高可达500W像素。
3.2.3STM32主控制器。本次室内虚拟控制系统选用了STM32F103C8T6作为主控制器。该芯片内核为Cortex⁃3，拥有64KBFLASH、20KBRAM，其在应用中常作为电器的主控制器，能够执行具体的控制任务，并向GPIO口发送控制开关信号，之后完成读取即可。STM32F103C8T6主控制器的显示屏运用了UART通信方式，速率为9600波特率，能够开关显示屏、接收语音灯信号。在进入主显示器界面时，能够发送主控制器的语音播报指令，并且在STM32F103C8T6主控制器成功接收指令之后，能够对指令的具体类型和所在状态进行判断，最终控制系统语音播报。
3.2.4语音播报。本设计的语音模块连接STM32，运用可触发系统语音模块，触发电平能够与TTL电平兼容，保证了有效的低电平，仅需5根杜邦线即可连接STM32F103C8T6主控制器的GPIO。这样可以实现不同触发式组合，完成不同的控制语音播放，加快系统虚拟控制指令的触发速度。
3.2.5串口屏。在此运用了STM32串口屏控制器，其能够连接外部设备在通信中发送UART信号。串口屏在内部代码、数据上，经推行上位机完成信号编辑写入，运用PS软件操作图片美化及数字化过程。需要注意的是STM32的RXD屏幕、TXD屏幕均可以连接屏幕TXD，STM32F103C8T6主控制器具有256KB的FLASH，可实现代码、图片、字库存储，并在意外断电时可以自动保存重要数据。
3.3软件设计
3.3.1行人检测
在该虚拟控制系统的软件设计部分运用了Python变成语言，对于行人检测部分运用了IMageAI库，采用先进RetinaNet目标检测算法，对性能参数进行实时调整。
3.3.2人脸识别
本系统设计运用M∶N的人脸识别模式，基于C++编程完成了底层深度学习代码。运用Dlib深度学习库建立神经网络，设计OpenCV计算机视觉库和Python基础第三方库，训练数据识别人脸过程中也会对自身数据不断改进，提升识别准确率。
1）对于差异化人脸图像预处理，运用了面部特征点估计算法。寻找多个人脸的统一特定点，包括了下巴顶部、眼镜轮廓、眉毛内部轮廓等。
2）提取人脸图像特征完成编码，并运用同样测量方式对位置面孔进行测量，寻找与测量结果最接近的脸。可以通过训练深度卷积神经网络，并非去识别图片物体，而是可以在原本人脸上复制生成2倍的测量值。
3）匹配识别人脸，以脸部的测量数据结果为依据，根据脸部编码寻找匹配人的相应名字，在建立的SVM分类器中，能够根据新型测试图像重新获取测量结果。
4仿真实验
为了验证本次基于卷积神经网络算法的室内虚拟控制系统的深度学习预估准确性，在轮式小车安装摄像头并在室内行走。摄像头均设计为双目广角摄像头，其水平视场角为180°。在初期算法训练阶段，采用两个摄像头预测行进轨迹。移动轨迹误差率的计算结果如表1所示。由表1可知，本系统能够控制机器人闭环轨迹误差率低于1%，达到了预期。
5结语
综上所述，本文提出的基于卷积神经网络算法的室内虚拟控制系统设计思路，可以运用于解决传统控制系统中存在浪费能源和所需室内安保场景中。经过仿真实验，得出了本文系统能够提高室内虚拟控制移位抓取的精准度，提高控制操作简便性。
作者：陈雪 单位：河北师范大学汇华学院