【摘要】红外与可见光图像融合作为图像融合领域的一项重要分支，在军事侦察、卫星遥感、温度检测领域有广泛应用。融合图像可以穿透烟、雾等人眼障碍检测热目标，有可以在光照充足的条件下，最大程度描述场景中的纹理与边缘等细节信息，对互补信息进行保留，在隐藏目标、夜间侦查等目标检测方面有广阔的应用价值。本文设计了一套应用于无人机的红外与可见光双光融合光电系统，用以实现对日夜飞行目标的检测和识别。
【关键词】红外图像；可见光图像；图像融合
1引言
图像融合旨在结合不同传感器的优点，把同时获取的多幅相同目标图像融合在一起，输出一幅能够更好的被计算机分析处理的图像[1]。红外图像表现物体表面温度分布状态，能够在夜间区分目标和背景，可见光是物体反射可见光所成的像，能够提供高分辨率和清晰度的细节图像[2]。红外与可见光两种图像融合可以较好的互补目标场景信息，因此设计一套实现可见光与红外视频的融合接入系统，提升不同侦查环境的目标识别率[3]。
2系统总体设计
系统实现无人机前视安装，具备红外和可见光双路镜头，并实现双光融合。系统提供无人机视频采集融合单元，融合单元由红外机芯、CMOS传感器，视频采集融合处理器构成。红外机芯采集红外图像，通过LVDS接口，将数据传送至视频采集融合处理器；CMOS传感器采集全彩图像，通过MIPI接口，将数据传输至视频采集融合处理器；视频采集融合处理器对采集的双路视频数据进行融合处理，利用H.264编码压缩，通过以太网形式发送至无人机；无人机可通过RS422接口，对视频压缩比进行控制。本系统结构如图1所示：
2.1系统硬件设计
1）系统硬件框图双光融合光电整个系统包括：核心处理器、电源系统、CMOS镜头、CMOS传感器、红外机芯，控制按键组、RTC时钟、DDRRAM、NANDFLASH、SD卡、指示灯、USART、以太网接口、RS-422控制等。双光融合光电系统硬件架构如图2所示：2）传感器选型为降低识别难度，提升视觉效果，选择高分辨率可见光全彩CMOS传感器。Sensor芯片选择索尼IMX334，为对角线8.86mm（1/1.8型）CMOS有源像素型固态图像传感器，分辨率3840×2160，像元尺寸2.0μm（H）×2.0μm（V），帧率可达60帧/s。为提升夜晚识别率，选择高分辨率红外焦平面探测器。分辨率1024×768，像元尺寸14μm（H）×14μm（V），帧率可达30帧/s。3）核心处理模块选型核心处理模块是整个系统核心，采用Hi3519芯片，支持两路sensor输入，其中主通道最大分辨率支持到16M（4608x3456），第二路最大分辨率支持8M（4096x2160），主通路最大支持到12xLaneMIPI/LVDS/Sub-LVDS/HiSPi接口，第二路Sensor接口最大支持4xLaneMIPI/LVDS/Sub-LVDS/HiSPi接口。具备对多路采集信号实现视频预处理、视频匹配及融合、目标识别、视频编码发送等功能。核心处理模块对红外机芯和CMOS传感器两路镜头进行视频采集，采集图像首先进行ISP图像预处理，采集图像利用算法进行图像匹配，并进行三维重建及融合。对融合图像进行移动目标识别，融合图像通过H.264编码视频压缩，通过以太网方式发送至无人机，无人机可通过RS-422方式，对码流进行控制。海思平台集成OpenCL算法库，支持深度学习卷积神经网，络进行加速处理的硬件单元，支持常用算法的硬件加速单元，具备视频采集和算法处理的双重优势。
2.2嵌入式软件模块设计
嵌入式软件主要是对核心处理模块进行编程，核心处理模块设计搭载linux系统，安装海思SDK，实现视频采集、处理、编码和传输。嵌入式软件主要针对核心处理模块编程，主要划分3个层次。1）传感层主要用于设备传感器数据采集。通过设备多路传感器的采集，实现图像的预处理，为后续图像融合和识别做准备。多个Sensor及镜头，相同型号也不可避免存在硬件精度差异，所以即使配置相同的ISP参数，也会导致相同物体在相邻图像中亮度、颜色上一定的差异。设计中利用ISP在STITCH模式下可综合多sensor的统计信息，使亮度颜色差异较小，忽略AWB/CCM差异标定；若差异较大时，则进行AWB/CCM差异标定，使两路图像的颜色及亮度在相同场景下尽量保持一致。2）算法层算法层进行图像预处理，图像特征点提取，图像匹配和三维重建及融合[4]。为了改善图像质量对原始图像进行的去噪、增强、校正等处理工作。红外图像与可见光图像的成像波段不同，属于异源图像。本文基于特征的配准方法实现异源图像融合，速度较快，准确率较高。在红外与可见光图像融合系统中，前端两个传感器的空间位置有差距，再加上传感器前的光学系统参数不可能完全一样，造成两个传感器采集的图像在空间中有一定的错位。在图像融合前，必须对两帧图像进行图像配准，使两帧图像的像素点一一对应，保证图像融合的精度。为实现可见光和红外双路图像的图像匹配，首先进行卷积处理，再利用Canny边缘特征检测算法和Fast特征点检测算法，实现特征信息提取；而后利用BRIEF特征点描述算法对提取特征点进行描述，根据描述内容对两幅图像的特征点进行匹配，去除误匹配点，形成匹配图像。经多尺度分解后产生的变换系数，将在融合规则的指导下完成系数融合，融合规则是确定系数之间如何取舍的指导方案，决定了融合图像中包含原始图像信息量的大小，对融合效果起重要作用；融合后的多尺度分解系数将通过逆变换生成重构图像，完成整个融合过程[5]。3）视频层视频层完成采集图像的H.264硬件编码输出，支持图像的JPEG编码抓拍，可完成图像压缩和存储等操作。通过优化编码，提升视频的实际压缩率，减少带宽限制。4）应用层应用层主要涉及数据分析与处理。该部分用于根据用户需求，完成特定功能。将处理或分析后的数据分类存储或发送。应用层视频通信流用以太网方式输出，应用层解析RS-422协议数据，对压缩比进行控制。当接收到RS-422协议，首先对协议进行解析，提取码流设置值，将提取的设置值赋值码流控制算法，算法根据设置值，计算编码压缩率，对实时融合视频图像进行编码输出。嵌入式设备移植Web端服务器，提供客户访问浏览，实现可见光图像、红外图像和融合图像的多窗口展示，支持视频播放和停止，支持视频录像。
3实验分析
将可见光波段与红外波段图像融合后的效果可通过将两个波段的信息进行综合，我们可观察到更加丰富的图像信息。可见光图像中显示的计算机屏幕画面细节纹理，以及红外图像中清晰捕捉的前景影像，均完整地呈现于融合图像当中，提高了图像信息量的丰富性和完整性，融合图像结合两者的优点，提升了目标的侦察与识别。可见光图像、红外图像和融合图像的采集效果如图3所示：
4结论
本文以红外与可见光图像融合过程为主线，介绍了两种图像的成像机理与图像特点，利用海思平台实现了应用于无人机的红外和可见光融合技术，具有国产化程度高、功耗低等特点，便于夜间航行的目标侦测，提升了飞机目标侦察与识别的准确度。
参考文献：
[1]马雪亮，柳慧超.《基于多尺度分析的红外与可见光图像融合研究》，电子测试，2020年12月.
[2]任凌，王志强，李思洋.《有源功率因数校正技术综述》，通信电源技术，2005年8月.
[3]沈英，黄春红等.《红外与可见光图像融合技术的研究进展》，红外与激光工程，2021年.
[4]蒋强卫.《基于卷积神经网络的双目视觉物体识别与定位研究》，哈尔滨工程大学，2018年.
[5]佟颖.《基于红外与可见光双波段图像的立体视觉关键技术研究》，天津大学，2015年.
作者:李萌 褚孝鹏 单位:天津光电通信技术有限公司
