OPEN-CV的甘蔗预切种机控制系统设计

OPEN-CV的甘蔗预切种机控制系统设计

摘要:为实现丘陵地区甘蔗的机械化种植,传统的蔗种通常采用定距切割(约30-35cm),然而这种切割方式对蔗种的损伤率超过30%,不仅影响了播种的成活率,还浪费了资源。为此,本文提出了基于OPEN-CV上机位软件设计的智能预切种系统。该系统通过智能识别甘蔗蔗节位置并实现避开蔗节,避免损伤蔗种,提高切种的成功率。系统主要是由视觉传感器、计算机、控制器、电机与刀片构成。视觉摄像头采集的甘蔗图像数据,由OPEN-CV进行图像识别和处理,将识别到的蔗节位置标定坐标后发送到控制器,控制器对信息处理并发送控制指令控制电机完成预切种动作。该系统实现了甘蔗的精准切种,为丘陵地区实现规模化甘蔗种植,提高蔗种成活率具有重要意义。甘蔗是我国重要的经济农作物之一,不仅是制糖的主要原料,还是生产生物乙醇的重要原料。广西每年甘蔗产量占全国总产量的60%左右。然而,由于多丘陵的地貌特征,使得甘蔗的种植和收割无法使用大型农机设备,依赖人工或半机械化。而甘蔗的蔗种切割设备作为甘蔗种植机的主要模块之一,对实现甘蔗的机械化操作至关重要。另一方面,国外种植机的价格昂贵也是难以在我国推广使用的重要因素之一。

传统的蔗种切割方式是定距离切割法,该方法虽然对设备要求低,但是存在切伤蔗芽,浪费蔗种的现象。为了提高甘蔗的产量,研制高效实用,价格合理的甘蔗预切种机对解放劳动力,提高生产效率有重要作用。国内关于甘蔗预切种平台的设计,比如胡佳成研究小组所研究的基于PLC甘蔗预切种切割平台的设计,该设计方案原理为:首先通过进料机构将整条甘蔗原料送入拍照黑箱,识别出蔗节位置,在PLC中使用MUL指令控制移动刀头到指定位置,完成蔗节切割。国内关于甘蔗预切种平台设计的重点大多是对蔗节的机器视觉识别。即通过摄像头对甘蔗蔗节拍照,然后对图片滤波、除噪、分割等处理,提取出一个最小甘蔗区域并在该区域概括出蔗节特征:图像边缘特性和灰度梯度特性。本设计是基于OpenCV设计的甘蔗预切机的自动控制系统,可实现自动检测甘蔗蔗节部位并从蔗节两则自动切断,并确保不损伤种芽和蔗茎。设计了人机交互界面,实现手动/自动切换等操作。通过调研区内甘蔗预切种的现状,采用了试验田的甘蔗作为图像处理对象,利用OpenCV识别蔗节坐标,由计算机把坐标指令发送给单片机控制器,控制器接收到甘蔗蔗节的坐标后发出切断甘蔗的指令完成避开蔗节位置的切割。最后把控制器、视觉传感器、电机和刀片等各个模块组合在一起调试,实现自动检测甘蔗蔗节和自动切段的功能。

1.预切种机控制系统设计原理

1.1基于OPEN-CV的图像识别

甘蔗预切种机控制系统包括甘蔗图像信息采集模块、基于OPEN-CV识别分析甘蔗蔗节模块、基于QT串口类操作的数据传输模块、STM32单片机接收模块和执行切割操作的下位机模块。其中,控制系统识别分析原理为:通过图像采集设备对甘蔗进行实时采集图像信息并通过USB数据发送到计算机,再由计算机对采集到的甘蔗图像进行识别分析处理。具体实施方案包括:(1)根据蔗身和蔗节不同的像素密度入手,即甘蔗图像的像素密度。利用这一特性,使用均度矩形模板平移由矩形模板覆盖采取的甘蔗图像信息;计算机计算出均度矩形范围内的像素点密度,并在计算机上框出不同区域,从而达到智能识别蔗节的功能;(2)通过蔗节部位与普通蔗身部位颜色的不同,识别出蔗身部位和蔗节部位。经过比对实验测试结果,特征区域识别采用方案。OpenCV处理方法:首先对获取到的视频图像帧进行灰度化转换,然后利用中值滤波方法对数字图像中存在的噪声进行滤除,通过边缘轮廓检测算子对图像处理并消除边缘阴影。经过基本方法处理后的图像质量得到了很大改善,为后续运动目标(蔗节)的检测和跟踪提供手段。本文主要采用了高斯滤波、灰度处理、开运算操作和轮廓拟合。高斯滤波通过平滑图像抑制噪声,将所选取区域的像素平均值作为输出。彩色图像由RGB三个分量组成,图像二值化是将三个通道构成的图像转化为一个灰色灰度值通道的图像。在0-225间设置一个阈值,当灰度值低于或超过该阈值时,即赋值为0或225,提高图像的特征。开运算:消除较小物体、分离物体连接和平滑图像,使得特征进一步明显。轮廓拟合:在实际运算中,并不需要蔗节实际的轮廓图像,利用一个简单的多边形代表蔗节轮廓,并将图框中心点标记为蔗节位置。甘蔗图像处理的设想框架流程:图像获取→灰度化→图像去噪→边缘检测→坐标获取,如图1所示。

1.2基于STM32单片机的控制系统

QT作为上层系统的人机交互,实现图像采集设备的控制和数据传输,STM32单片机通过数据传输到人机交互界面。当需要切割的位置坐标靠近切刀位置时,控制器接收到切割坐标,并且使单片机控制器发出切割指令进行切割,实现了上位机与控制器的实时通讯。当上位机通过OpenCV完成图像分析处理后,向STM32单片机发送数据流,单片机在接收到切割指令后,驱动切刀完成切割动作。当切刀动作完成后,等待切割点离开切刀工作位置,切刀动作停止,从而实现切割系统对甘蔗的智能切割功能。本系统通过模拟实现了甘蔗的移动与切割,当切刀进行切割动作时,停止移动甘蔗。

2.系统设计

预切种系统硬件主要是由微型计算机、STM32单片机、图像采集设备(视觉摄像头)组成,如图2所示。其中PC采用英特尔i5-7500cpu,8G,2333Hz运行内存,AMDRX580显卡,运行OpenCV库函数。控制系统硬件连接的设计框架图如图1所示。其中,STM32单片机是基于ARMCortexM3内核的32位闪存微控制器,提供了丰富的开发工具,具有以下优点:(1)功耗控制出色,实时性强;(2)性价比高,价格低廉;(3)使用广泛的arm内核;(4)丰富的外设,集成度高。系统摄像模块实时采集甘蔗图像,通过USB数据线连接计算机传输甘蔗的图像信息。其参数设置为:采用1/2.7OV2710CMOSSensor;支持USB2.0的OTG协议;模组搭配1/2.7”3.6mm1080P高清镜头;低照度可达星光级0.05Lux;高速640X480@120fps,1280X720@60fps,1920X1080@30fps。上位机为MicrosoftWindows10操作系统。对蔗节的识别是通过甘蔗的颜色区分蔗身与蔗节,然而由于摄像模块缺少曝光补偿,在光线暗的环境下采集的图像效果差,因此,实验中对甘蔗进行了清理和LED光源补光等操作。系统的软件是基于OpenCV的甘蔗蔗节识别系统,通过连接计算机的图像采集设备对甘蔗图像进行实时采集并发送到计算机,再通过调用OpenCV库进行图像分析处理。通过上位机对STM32单片机的数据发送,STM32单片机识别并接收到上位机的数据,控制切割模块完成切割动作。

3.系统测试

实验采集的甘蔗图像如图3A所示,为了获得甘蔗的主要特征,实验中将摄像采集模块垂直安装于被测甘蔗的正上方,输出图片的像素为640x480,JPEG格式。通信模块使用USB接口连接计算机和控制器。图像数据上位机OPEN-CV处理,如图3B所示。实验首先清理了摄像背景并加入了辅助光源。将摄像头垂直于甘蔗,缓慢移动甘蔗,同时观察上位机和单片机上的LED指示灯。上位机测试效果如图3C所示。系统启动后,导轨齿条运动电机通过串口接收到启动信号,将甘蔗原料从甘蔗进料斗推送到摄像机下,即甘蔗进料斗末端与切割电机道具之间,等待3s,期间,上位机程序运行图像处理并计算蔗节的位置信息。图2中的甘蔗图像经过阀值化处理后,使用findContours函数从二值化图像中快速寻找轮廓信息。具体步骤为:1.把计算机识别到的黑色蔗身部分作为轮廓信息,将所有轮廓信息用最小矩形包围;2.设置过滤代码过滤掉部分不理想的轮廓信息,同时标出各个矩形的位置;3.由标志出的矩形快速分割甘蔗各个部分的位置信息,从而区分出蔗身和蔗节;4.根据设计的控制系统要求,需要切割蔗节两端的位置,因此当标出矩形的位置信息后,将矩形中线作为切割点进行标识,并用蓝色线条表示;5.当标志切割位置完成后,通过QT显示切割点的坐标值,并发送到单片机,完成切割动作。测试结果如图3C所示。

4.结语

实验采集了甘蔗图像验证预切种机的运行效果,当上位机中红色线条靠近蓝色线(小于10像素)时,单片机的LED指示灯闪烁,表示切刀进行切割动作。蓝色线条远离红色线条(大于10个像素点)时,单片机LED指示灯闪烁1s后熄灭。另外,在切刀工作的时候,停止移动甘蔗,表示移动电机停止工作。实验结果证明本次整机测试基本能完成智能切割效果。甘蔗作为我国主要农作物之一,种植收割费时费力,本文提出的系统是在模拟平台实现,与实际情况有所差别,如甘蔗实际长度约为2m,而本系统只能处理长度为1m内的甘蔗。此外,实际的甘蔗蔗节因为有泥土或者病虫害等因素,采集到的图像存在不清晰的现象。实验中发现,源图像是影响智能蔗节识别成功率的关键因素,因此,摄像模块取图环境需安装光源,选择合适的背景颜色。该系统只能识别出蔗节的位置,无法识别蔗芽的好坏,这将是本文后续研究重点考虑的因素。

作者:王跃飞 庄远 黄光滨 张圆圆 单位:北部湾大学机械与船舶海洋工程学院 钦州市船舶先进设计制造重点实验室