摘要：本文介绍了国内外人工智能在大型起重机械运行监测中的应用情况，分析了不同人工智能方法在大型起重机械运行监测中的优缺点，并展望了人工智能对在役大型桥门式起重机械运行状态监测研究的最新趋势。
关键词：人工智能；大型设备；桥门式起重机械；监测
0引言
起重机械是现代工业生产不可或缺的设备，被广泛用于工厂、港口、建筑工地等场所，开展各种货物的起重、运输、装卸、安装等作业，减轻体力劳动强度，提高劳动生产效率。但由于起重机械作业范围较广、作业环境复杂、吊运对象多样，经常需要多机构同时操作、多工种协同作业，因此起重机械作业过程危险因素较多。大型桥门式起重机械由起重机械吊具、主梁、支腿等关键部件组成，为保证起重机械的安全与正常运行，需要识别和监测起重机械中的关键部件。
1国内外大型起重机械关键部件识别与目标检测方法
目前，国内外对大型起重机械关键部件识别与目标检测方法主要包括光学检测方法、图像处理检测方法、深度学习目标检测方法。
1.1光学检测方法。光学检测方法是在检测对象上安装光学传感器，应用激光测量关键部件到基准面距离，采用红外光检测部件与部件之间距离，从而实现检测对象的定位。上海国际港务(集团)股份有限公司研制了自动化双小车岸桥光学定位系统，通过激光获得物体的距离和角度信息，运用光学定位系统实现了对吊具和目标集装箱的定位和对集装箱的自动抓、放功能，通过对空间障碍物进行定位，实现起重吊具智能防撞的功能；三峡大学开展了基于GPS、激光组合定位技术的缆机施工防碰研究，结合GPS与激光通过定位精度及遮挡试验研究，以定位结果为依据，制定缆机碰撞检测方法，并建立距离和时间预警模型；浙江开天工程技术有限公司以机械制造厂吊车梁为测试对象，应用光学成像测量技术，对吊车及吊车梁进行安全检测。由此可见，光学检测方法必须针对每个关键部件安装激光或红外光传感器以实现定位或防碰撞，势必会造成被检测的关键部件上附带安装大量的传感设备，影响设备运行及数据采集。
1.2图像处理检测方法。图像处理检测方法是利用高速相机拍照，根据像素分布和亮度、颜色等信息进行图像分析，一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。华北理工大学提出了天车机器人模型及吊钩运动视觉检测，采用不同颜色阈值选取对吊钩目标图像进行识别，采用特征点匹配方法实现吊钩图像的特征点匹配及吊钩运动目标的视觉检测与跟踪；上海交通大学提出一种基于特征融合与随机森林的吊车碰线故障预警算法，采用改进的边缘直线检测方法来提取吊臂形状特征，利用等价模式和颜色空间特征获取纹理信息和颜色特征，融合特征后采用随机森林分类器进行目标识别；山东建筑大学提出了一种塔机顶升过程中识别螺栓、销轴等视频特征目标的方法，利用三帧差分法和背景差分法相结合，实现塔机顶升加节环节智能辅助判断。由此可见，图像处理检测方法除受到相机设备影响外，还与图像纹理信息和颜色特征的质量有关，对于在役起重机械，检测结果容易受到环境界面的影响。
1.3深度学习目标检测方法。深度学习目标检测方法是一种基于目标几何和统计特征的图像分割的方法，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。Girshick提出FasterR-CNN采用RPN网络(RegionPro-posalNetwork,RPN)代替选择性搜索作为区域候选方法；南FarhadiA.运用YOLOv3测架构和ResNet50卷积神经网络，针对配电线路维护机器人系统作业目标的特点，对网络进行了训练，并结合双目视觉测距原理测得作业目标在相机坐标系中的坐标；RedmonJ应用YOLO实现多部件结合的机场场面静态飞机检测，提取飞机及其部件，检测出足够多的部件，再根据飞机与部件的交叠率，获得最终的飞机检测框；清华大学应用MaskR-CNN结合最近点搜索算法，实现基于双目视觉的物体识别和定位，并结合图像金字塔网络对尺度不同物体的识别效果进行优化，引入全卷积网络实现了精确的物体分割。由此可见，深度学习目标检测方法可实现深层特征提取，结合深度学习加速硬件，具有较高检测准确率、良好实时性。大型起重机械关键部件颜色相同，浅层特征不明显，利用深度学习目标检测方法能够提取关键部件的深层特征，应用深度学习锚点检测与实例分割相结合的方式，能够实现对其运行状态进行准确识别。
2大型起重机械特征点检测方法
大型起重机械操作空间需求大，机械零件多,运行结构复杂，为确保起重机械处于安全运行状态，需要检测起重机的关键部门，需要对关键部位的特征点进行检测。目前，国内外对大型起重机械特征点检测方法主要包括完整部件特征点检测方法、运动机构特征点检测方法。
2.1完整部件特征点检测方法。完整部件特征点检测方法是指对起重机械不发生相对位移的结构提取特征点。徐州重型机械有限公司建立了基于互联网平台的起重机远程视频监控系统，可通过移动终端和网络PC客户端的监控软件实现远程登录、监控，实现起重机械远程监控和资源调配；上海电力学院采用联合特征的方式，提取变电站设备图像的SIFT特征，在SVM分类器下实现对变电站设备图像的分类识别，把图像的SIFT特征与图像的稀疏表示特征相结合组成联合特征，实现对变电站设备特征点检测；海军潜艇学院基于信息熵理论，选择某型导弹测试设备中测控台的插座、插头等接口位置，选取出最优的特征点，实现导弹测试设备的故障特征点提取；广东工业大学基于激光视觉传感的角点检测与光流跟踪的焊缝特征快速提取与定位方法，采用Shi-Tomasi角点检测提取强角点，运用亚像素角点检测算法，将角点位置精确到亚像素级精度，最后采用LK光流法计算得到下一帧图像中对应的特征点,实现焊缝特征点检测。完整部件特征点检测方法可运用于监测大型起重机械的主梁、控制室等不发生相对位移的主体结构，主要通过提取图像SIFT特征，根据检测对象再结合其他方法，实现检测对象特征点检测，但对于复杂环境目标特征点提取准确性不高，通用性不强，且不具备实时识别检测功能。
2.2运动机构特征点检测方法。运动机构特征点检测方法是指对起重机械的机械臂、吊具等运动部件提取其特征点。天津大学建立了基于高精度倾角传感器与单目视觉组合测量系统，将两个倾角传感器分别与视觉传感器和特征点系统固定连接，通过倾角传感器提供的多个角度约束，实现掘进机前盾体相对于后盾体位姿的更高精度测量；燕山大学基于回声状态网络与机械臂的视觉伺服控制系统组合方法，利用回声状态网络对系统的不确定项部分进行辨识，从而在控制律中实现对该部分的补偿，实现机械臂的定位控制；中国兵器工业第203研究所基于局部特征的机械异常运行检测算法，提取机械局部特征点，实现机械异常运行的特征点检测；南京航空航天大学基于级联网络与特征点检测网络的锥套小目标高精度快速定位算法，特征点检测神经网络的输入为锥套目标区域图像，根据损失函数对特征点提取网络的误差进行定量评估，实现锥套小目标特征点检测；南京航空航天大学基于单目视觉的目标识别与定位算法，构建移动机械臂抓取作业系统，采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位,实现机器人手眼位姿特征点检测。基于运动机构特征点检测方法主要采用视觉检测与深度学习检测，提取运动结构特征点，从而实现位姿检测；基于深度学习的锚点检测，可实现运动机构关键部件特征提取与定位，适合用于在役大型桥门式起重机械关键部件相对尺寸测量。
3在役起重机械现场监测技术
3.1结构安全监测。结构安全监测是对在役起重机械各个关键部位结构状态进行实时监测，保证被监测起重机械的安全工作而不发生破裂、解体等结构分离状态。武汉理工大学基于时序分析方法的损伤预警算法，对结构监测数据建立时间序列模型进行数据预测，时序预测模型与控制图分析方法相结合，实现对桥式起重机的运行状态监测。结构安全监测技术一般在起重机械关键部位结构安装大量传感器，实现对设备的结构安全进行监测，但缺乏对设备移动旋转等运行状态监测，越来越落后于工程作业需求。
3.2运行状态监测。运行状态监测是获取在役起重机械各关键部位运动状态信息，直接反映运行中各机构部位运动状态。中海油能源发展装备技术有限公司利用各种现场传感器采集起重机械重要状态参数，传输至数据处理器，建立正常状态模型、异常状态模型，实现对海上平台起重机械运行状态监测。起重机械运行状态监测通过识别吊具、工件、控制室等关键部件，实时分析获取运行状态信息，可通过结合深度学习方法解决极端天气引起问题。
4在役大型桥门式起重机运行监测方法的优缺点
综合国内外研究现状，可以看出：（1）在役大型桥门式起重机械关键部件检测、运行状态评估必须克服浅层特征不明显问题，采用专用深度学习像素级锚点检测+语义分割方法，可提取关键部件的深层特征，实现对其运行状态进行准确识别；（2）通过深度学习锚点网络可准确识别定位大型起重机械关键部件，采用像素级检测方法提高关键部件相对尺寸测量精度，可采用基于轻量化锚点网络实现对在役桥门式大型起重机械关键部件运作状态实时检测与关键部件形态评价；（3）采用AI+免标记特征锚点的大型起重机械运行状态监测方法，通过监测主梁、支脚等固定结构及其垂直度、挠度等参数对设备结构安全监测，对特种设备结构安全进行预警，设计专用轻量化深度学习网络，可实现实时在线监控。
5人工智能在大型桥门式起重机械运行监测中的应用研究趋势
基于以上研究与分析，在役大型桥门式起重机械运行状态监测研究最新趋势为：“基于AI+免标记特征锚点的在役大型桥门式起重机械运行状态监测”，应用边缘计算+深度学习现场识别桥式、门式起重机的关键部件，提取各关键部件特征点，计算各种关键位置、姿态参数，分别实现运行状态监测、结构安全监测及特有环境监测，实现对钢丝绳及吊具倾斜问题、对强风天气下关键部件松动移动、起重机主梁及支腿明显变形的识别与预警。
作者:林永森 杨宁祥 单位:广东省特种设备检测研究院珠海检测院
