大数据物联网中间件技术探究

大数据物联网中间件技术探究

摘要:信息时代的到来,加快了物联网与各行各业融合的速度,对其进行研究成为大势所趋。以大数据物联网为切入点,围绕中间件技术展开了系统且深入的探究,首先介绍了中间件平台设计方案,其次就感知层耦合设计进行了讨论,最后提出了应用层所适用耦合方案,供相关人员参考。

关键词:中间件;MDM-IoT;大数据物联网

近几年,获得质变发展的IoT产品,在诸多领域均得到了广泛运用,人们对物联网所提出需求自然有别于过去。该技术强调先采集感知数据再同云端平台耦合,随着相关产品使用量的增加,感知数据量持续增多,原有技术所能发挥作用有限,这便是大数据物联网适用中间件技术被提出的背景。

1中间件平台设计方案

1.1架构模型。物联网中间件是连接云端和智能硬件的桥梁,而智能硬件数量的增加,使引入感知数据变得更加繁杂,如何高效处理数据,自然成为当下亟待解决的问题。既有理想承载能力,又可对大数据进行训练的MDM-IoT,逐渐走入人们视野。若依架构为切入点,该服务器可被分为云计算服务器、大数据服务器,其集群架构如图1所示:

1.2云计算服务器。要想以算法服务器为依托,对大数据进行可靠且高效的训练,关键是要引入算法镜像技术,这样做既能够降低更新算法的难度,还可使算法安全性得到保障,在减少系统损耗的基础上,突出强调部署的便捷性与简单性。早期虚拟方式的代表为XEN和KVM,上述方式为后续方式的诞生奠定了基础。当然,上述方式也有较为明显的不足存在,主要是用户对环境十分依赖,应用程序性能与任务,通常无法达到预期。在此背景下,容器技术应运而生,该技术的特点是摆脱环境依赖和整套系统,用户可以随意对内容进行增加或删除,系统功能不会被影响。虽然LXC和KVM均为虚拟技术,但前者可使内核得到充分利用,属于典型的内核轻量设计,系统架构如图2所示。本文所讨论服务器便采用该管理模式,利用镜像仓库对算法镜像进行管理,并基于Git仓库对配置与部署文件加以管理。其优势主要体现在以下方面:首先是极其轻量,算法镜像仅有必要Lib文件与Bin文件;其次是秒级部署,对不同大小算法镜像容器进行部署的时间,其差别往往仅有数秒;最后是移植简便,在构建工作结束后,有关人员可将其部署在任何区域,真正做到了简单并且高效[1]。

1.3大数据服务器。要想使该系统即便身处大数据环境,仍具备持续且高效运行的条件,关键是以可靠性与稳定性为切入点,对接收和存储信息的部分进行设计。1.3.1缓存设计。信道数据以监控数据、心跳数据和感知数据为主,若以优先级别高低为依据,上述数据的排列顺序应当是:①心跳数据;②监控数据;③感知数据,借助异步队列分级缓存上述数据,作为解析封装数据,供算法服务器使用。这里要明确一点,算法服务器面临数据为集群数据,大数据服务器服务对象是物联网设备。而分区分级缓存所强调内容,主要是分级对应数据分级;分区依据为IoT对应服务器,任意服务器数据均以管辖终端为主,尚未达到集群数据同步的高度。1.3.2长连接设计。服务通信以长连接和短连接为主,前者强调保持所建立连接,为后续信息提供信道,对信息进行传输的效率自然可以得到提升。后者则需要对信道连接进行数次建立与关闭,不仅耗费大量时间,还存在性能被严重损耗的可能。在强调大流量和高并发的当下,借助后端负载均衡与长连接方案,可使大数据得到高效传输及处理。

2感知层耦合设计

在智能硬件耦合方面,MDM-IoT对无线、串口和网络协议进行了融合,此外,考虑到保证数据完整的重要性,有关人员还对不丢包协议进行了研发,通过及时处理并补发丢包数据的方式,确保大数据能够获得高效且稳定的处理。2.1心跳方案C/S将智能硬件视为Client端,其职责是对缓冲区是否有感知数据存在进行持续检查,如果发现有感知数据存在,要及时将其发送并清空。若发送心跳数据后,中间件没有传回相应的数据,则要对数据进行再次发送,在发送三次后,仍未收到相应数据,表明传输网络存在故障,此时,智能终端将对中间件进行重新连接并且建立通信。这里要明确一点,心跳包频率往往由双方以通信质量需要达到的要求为依据进行确定,中间件的作用是对设计数据模型的具体要求进行提供。实际应用时,有关人员应以物联网设备所感知数据的质量及大小为参考,通过优化传输格式等细节的方式,使心跳数据得到同步,为监控展示等环节的顺利开展提供便利。

2.2数据感知方案。对感知数据加以提供的主体是智能硬件,数据经由中间件解析,对是否存在丢包情况进行判断,随后,借助异步队列完成缓存原始数据/上传数据/解析数据的操作,在分类推送的基础上,将感知数据所提取参数传递至服务器内部,用来对大数据进行训练,通过将Web端和心跳数据进行长连接的方式,为设备通信有效性提供保障[2]。此外,有监控必要性的数据,除了众所周知的设备id,还有设备地点、PM2.5和环境温度等,上述数据均由服务器将结果向Web端进行推送并展示。本文所讨论设计方案,其特点主要体现如下:首先,可对数据完整性进行感知。大数据服务器往往会先解析智能硬件所传递数据,再将提取所得数据批次号传递给智能硬件,只有收到服务器发回信号,智能硬件才能对其他数据进行传递。若响应信号与之前发送信号有大致相同的批次号,则表明数据完整。其次,可对数据稳定性进行感知。在数据被接收后,中间件将针对原始数据/解析数据/封装数据开启相应队列,由队列负责处理缓存等操作,确保旧数据能够定期被删除。如果网络存在故障,将出现封装数据无法上传的情况,等到网络恢复正常,该系统将及时扫描上传失败数据并进行补发。上文所提及环节的开展形式均为多进程,这样设计的目的是确保数据能够被高效获取并得到充分利用,避免资源出现不必要浪费。最后,可对数据高效性进行感知。通信双方对长连接加以应用的初衷,主要是降低数据交互难度。基于心跳设计为长连接活跃性进行保持,一般情况下,KeepAlive所设置时间均为7200s,也就是说,如果在7200s内没有数据被传输,则要利用探针对连接是否可用加以确定,该测试的默认次数为10次,间隔为75s,有关人员可结合实际情况进行调整。本文所讨论中间件,便以上述机制为依托,在传送心跳数据的同时获取相应监控数据,达到对设备状态进行实时监控的最终目的。

3应用层耦合设计

在对物联网设备所采集数据进行解析后,MDM-IoT便进入等待服务器消费的状态,将Web端和心跳数据相连接的基础上,借助算法服务器对特征值参数加以分析,并向Web端传送分析结果,确保Web端能够将最终数据进行直接展示。

3.1追踪服务框架。常规追踪技术的代表是链路测试技术,该技术强调以路由网络链的测试为依托,对攻击源头加以确定,在实际应用时有关人员发现,要想使该技术发挥出应有作用,通常需要满足大量要求,不仅要反复测试,追踪花费的时间也相对较长,这也决定其并不适合被用来对固件进行升级[3]。而MDM-IoT创造性的引入了数据包作为记录载体,强调基于技术包对ip进行追踪并记录,该技术又被称作SPIE。本文所提及反向追踪算法,便对该技术进行了利用,其原理如下:服务器ip会在稳定运行的同时固定,为智能终端的连接提供支持,除特殊情况外,智能终端及相应服务器均处于相同网段内,由智能终端对网络进行分配,明确服务器所处层级,如果服务器位于云端,只需对云端ip加以提供即可。若服务器位于其他层级,则要视情况对相应信息进行提供。

3.2升级服务框架。研究表明,传统端现有物联网设备的内部程序,多为对执行文件进行烧录,如果应用程序有更新需求,通常需要前往现场重新烧录,人力资源被浪费的情况无法避免。有关人员出于对上述问题加以解决的考虑,基于MDM-IoT对远程升级服务进行了集成,用户只要将固件上传,便能够通过远程控制的方式,使固件得到升级。在此过程中,反向追踪也发挥了重要作用,该算法主要被用来查找设备并下发更新指令,由系统对应用进行自主下载并升级,升级完成后,设备将自动上线。该过程所需通信协议的帧格式如下:上文对轻量级的通用中间件平台进行了设计,该平台创造性地将应用层和智能硬件感知相融合,通过云计算的方式,赋予智能硬件全新使命。现阶段,基于该技术所设计IoT产品,在北京等地得到了大力推广与运用,相关产品凭借良好的伸缩性和稳定性,获得了用户的一致认可,由此可见,端云一体化有极大的发展空间,对其进行优化仍然是未来研究的重点。

参考文献

[1]金小艳,王忠春,范国林,等.基于轻量化安全协议的物联网安全网关技术实现[J].通信技术,2020(2):469-473.

[2]刘峰,王昭鹏,郭放达,等.基于消息中间件及MongoDB的物联网应用服务平台[J].计算机系统应用,2019(5):90-94.

[3]拜亚萌.物联网中间件技术在移动电子商务平台中的应用研究[J].焦作大学学报,2019(1):48-50.

作者:黄俊杰 单位:数字广西集团有限公司