基于计算机视觉的餐盘检测系统分析

基于计算机视觉的餐盘检测系统分析

摘要:在餐饮行业最早是采用射频识别的方式来识别餐盘的,这种识别方式主要是识别餐内置的RFID,是一种以“价格出品”为导向的结算方式,并不关心餐具内菜品等物体,取代人工计价方式。本文所研究内容为通过图像识别技术,识别餐盘后,计算出价格,将订单上传至数据库,并生成支付所使用的二维码,以达到快速支付的效果。

关键词:图像识别技术;餐盘识别;数据库;快速支付

1、引言

餐盘识别,也叫餐具识别,主要依靠专业的识别算法识别餐盘上的餐具,根据餐具的归属类别来计算对应的价格,从而达到快速自动收银的目的。如何提高顾客就餐结算效率,如何让顾客满意快捷地进行结算和用餐,是该行业面临的一个难题。以往采用RFID进行餐盘识别,此类盘子中内嵌RFID芯片,虽识别方便,但是造价较高,尤其是大量餐盘使用的场合。基于以上的问题,本文提出通过图像识别技术来识别餐盘,识别系统成本低,更换餐具不受限制,识别算法准确,可以替代现有市场上餐盘自动识别系统。

2、识别算法

在设计之初,考虑到图像处理的精确度,在识别前,要做图像的初步处理。以此为目标首先进行图像的噪点去除,其次是进行图像的标注框选,最后再进行图像的分析处理。

2.1、颜色转换

一般情况下,彩色图像是RGB三通道图像,用于图像处理和颜色显示。而HSV模型,是针对用户观感的一种颜色模型,侧重于色调、饱和度、明度。HSV模型又被称为六角锥体模型。从RGB模型转化为HSV模型的算法为:(4)HSV(色相/饱和度/明度)颜色空间是表示类似于RGB颜色模型的颜色空间的模型[1]。HSV对比RGB的图像处理,可以让图像的层次对比度上升,可以更清晰的获取所需的轮廓。根据色相通道对颜色类型进行建模,因此在需要根据颜色对对象进行分割的图像处理任务中非常有用。饱和度的变化代表颜色成分的多少。明度通道描述颜色的亮度。

2.2、图像的开闭操作

开操作和闭操作都是基于图像的膨胀和腐蚀操作组合形成的[2][3][4]。前者为先腐蚀再膨胀,后者为先膨胀后腐蚀。开操作可以消除图像中的噪声,而闭操作可以填充前景物体中的细小噪声。图片边缘处更可能是背景信息。所以,在餐具检测中可以首先对图像进行二值化处理,之后再对图像进行开闭操作,去除细小噪点,即可获得到一个较为纯净的图像,通过轮廓检测搭配直线检测,可以得到托盘的位置。

2.3、角点检测点

通常被定义为两条边的交点,或者说,角点的局部邻域应该具有两个不同区域的不同方向的边界。使用一个固定窗口在图像上进行任意方向上的滑动,比较滑动前与滑动后两种情况,窗口中的像素灰度变化程度,如果存在任意方向上的滑动,都有着较大灰度变化,则可以认为该窗口中存在角点。餐盘的直线进行延长,加粗。对内部轮廓进行提取,会得到一个规则的四边形。通过角点检测就可以得到四个角点。本文角点检测用到的是Shi-Tomasi角点检测。其原型算法为harris角点检测算法。首先利用Soble计算出XY方向的梯度值,然后计算出Ix^2,Iy^2,Ix*Iy,再利用高斯函数对Ix^2,Iy^2,Ix*Iy进行滤波则可以计算局部特征结果矩阵M的特征值和响应函数C(i,j)=Det(M)-k(trace(M))^2(0.04<=k<=0.06)最后将计算出响应函数的值C进行非极大值抑制,滤除不是角点的点,同时要满足大于设定的阈值[5][6]。

2.4、透视变换透

视变换是指利用透视中心、像点、目标点三点共线的条件,按透视旋转定律使呈影面(透视面)绕迹线(透视轴)旋转某一角度,破坏原有的投影光线束,仍能保持承影面上投影几何图形不变的变换。简而言之,就是将一个平面通过一个投影矩阵投影到指定平面上[7][8]。原理图如下图2所示,由投影原点按测量角度投射到水平平面以此达成新的图像。图像的托盘随意摆放,又因为拍摄角度的原因,不利于进行形状检测,通过透视变换后,可以观察到托盘的俯视图效果,如下图3。这时图像的角度变为俯视视角之后,更加方便识别为正向图形和规则图形,这样也利于了餐盘的框选。

2.5、基于极坐标的形状检测

采用基于极坐标的形状检测,具体方法主要经过3个步骤。首先捕捉形状的轮廓坐标,然后将轮廓坐标转换为相应的极坐标。用极坐标基于中心对称来修复边缘,拟合出样例曲线,最后计算餐盘目标几何特征特征,即可几何特征识别匹配[9]。该检测方法优点是对于图像的平移、旋转、收缩不敏感。检测结果如下图4。

3、连接支付功能

由于支付宝官方并未提供支付的C++API接口,所以要通过C++对Python的函数进行调用来达到支付的效果[10-12]。在识别出餐盘的形状,颜色后。对整体价格进行计算,上传至数据库,作为待付款数据保存,申请支付宝API生成支付二维码。在支付成功后。将支付时间,金额等参数上传至历史订单,并删除待支付订单。

4、结论

本文提出了一种非接触式的基于HSV空间和极坐标的形状检测的智能餐盘识别算法,能较好地识别包括橙、粉、白、绿和黄等不同颜色的圆形,椭圆形和矩形餐盘。当然该算法还有待进一步改善,如试验中通过对餐盘的图片做了长宽比的限制,当长宽比在0.9到1.1之间判定为矩形餐盘,超出限制的部分判定为椭圆形餐盘,如果取消限制,识别率会降低;反之,如果图片全部都满足限制要求,识别结果准确率也可进一步提高。总之,基于图像处理的非接触式检测,给餐厅自助结算系统的设计提供了一种新的思路,其在自助餐饮服务系统中具有广阔的应用前景。

作者:史川诚 王亚丽 刘佳宇 高波 单位:天津理工大学中环信息学院