数据采集范文1
根据目前车辆管理中存在的主要问题及公务车辆运行的现状，新形势下车辆管理的主要任务和目标是:实现车辆管理的智能化和精细化。主要体现在对各单位车辆的派遣实现自动化，车辆进入大门无需停车人工登记，而是自动识别、自动登记及自动放行;同时车辆监管部门可实时查看各所属单位的车辆出勤状况、进出时间查询，自动进行各种报表的生成等方面。具体功能需求如下:(1)网上批销假功能。对所有车辆派遣，实现网上请假、网上批假、网上销假功能，使车辆派遣手续更加快速便捷。(2)快速识别、记录进出大门的车辆。对车辆进出大门，实现快速自动识别并放行，无需人工审查。(3)自动记录车辆进出大门的时间，并进行各种条件的记录查询，对于超假车辆，能进行信息提醒。(4)对外来车辆出入进行自动记录。(5)信息分析汇总功能。能够对车辆的所有运行记录，进行显示，分析和汇总，并生成业务部门需要的各种表格。(6)具有自动添加和更改车辆、驾驶员信息功能，具有系统维护运行简单、方便特点。(7)具有用户管理和权限设置功能。使具有不同权限的用户，能够浏览各自管辖的车辆运行状况信息，而不能跨越权限。
2系统设计
2．1总体结构设计
根据需求分析和某单位一总部及四分部的具体情况。整个系统在总部架设一个系统服务器，然后在不同地方的四个分部各设一个数据采集服务器，总部系统服务器通过广域网同各分部数据采集服务器进行连接和通信;各数据采集服务器通过各分部内部局域网同大门出入两边终端读卡器1和读卡器2进行通信。由于要实现出入大门，自动识别和自动放行车辆，因此，采用有源FRID卡和FRID读卡器，对进出车辆进行自动识别和放行。由于有源卡，比较容易识别，同时识别距离也比较远，因此，为每辆车内配备一张有源FRID卡，当车辆进出大门时，读卡器自动识别并读取卡号信息，通过局域网，由分部数据采集服务器对读卡器所读到的车辆卡号信息进行采集，并通过总部系统服务器数据库中的请假记录进行比对，从而确定是否触发读卡器开启道闸放行车辆，同时分部数据采集服务器把所采集到的车辆的出入信息通过广域网发送到总部系统服务器进行存储，以备信息的分析和汇总。
2．2系统基本工作流程
当单位需要派遣车辆时，通过内部局域网登陆车辆管理系统，进行网上请假，车辆管理人员进行网上批假，然后驾驶员到汽车分队管理中队领取车辆出入FRID卡出车，车辆到达大门口通过地感线圈时，触发FRID读卡器发射信号，FRID读卡器自动读取车辆出入卡信息，并通过局域网发送到总部系统服务器的数据库中去，并依据系统数据库请假信息，自动进行开启道闸控制。同时把对应车辆的相关信息显示在LED大屏上，利用门卫进行简单判别。当车辆完成任务归队时，到达大门口通过地感线圈，触发入口FRID读卡器发射信号，并自动读取车载出入卡信息，通过数据采集服务器把车辆进门信息，发送至后台数据库，并自动开启道闸，容许车辆进入。驾驶员归队后，归还车辆出入卡及行车包，这样一次完整的出车流程就结束了。另外，对于外单位的车辆，在大门口，进行登记并发给临时出入卡。
2．3车辆管理系统设计
2．3．1车辆管理系统的功能模块
根据车辆管理信息化、精细化的要求和车辆管理系统的需求分析。系统主要功能模块有:(1)车辆信息查询，可以对各单位所属车辆信息进行查询，包括车号查询，车型查询，所属单位信息查询，启用时间，车况信息查询等。(2)车辆运行状况显示，通过点击代表每辆车的方块，可以显示此车的当天出入记录信息(出入时间，出入状态，出入门等)。同时，通过日期查询，可以查看所选日期此车的出入信息。还可以查询所选车辆的超假信息记录，日出车统计及月、年出车次数统计。(3)车辆信息管理，能添加新车辆信息(车型、车号、车辆运行证信息、车辆图片、出厂日期、启用时间、所属单位等)，删除报废车辆信息。可以单个车辆进行增添，也可以成批量进行车辆信息增添，方便管理人员对车辆信息进行维护和管理。(4)部门信息管理，可以对单位所属部门信息进行增加和删减。(5)驾驶员信息管理，能对各单位所属驾驶员信息进行增添和删减。(6)网上请销假管理，网上请销假包括:网上请假、网上批假、网上销假。实现出车请销假自动化。(7)统计分析功能，能对各单位整体出车情况，以图表形式进行量化显示。并能对各辆车的日、月、年出车情况进行统计分析，并可以生成EXCEL表格，方便车辆管理部门进行分析和打印。(8)系统管理功能，主要包括系统用户管理和角色与权限管理功能。用户管理功能够对用户信息进行维护，并能够查询用户登陆记录。系统基于角色对用户权限进行管理，可以针对不同模块设定不同的角色许可，对每一用户分配相应的角色，使其具有合适的访问权限。如，单位A的管理员，只能访问单位A的所属车辆信息，而不能访问其他单位的车辆运行信息等。
2．3．2车辆管理系统的开发系统设计
车辆管理系统采用B/S结构模式。系统网站服务器部署在总部的系统服务器上。通过内部局域网，各车辆管理部门和人员均可通过局部联网来访问车辆管理系统，简化了系统的部署，并可以作为单位门户网站的一部分，有利于单位管理系统的统一管理和集成。PHP是服务器端的一种编程语言，可以嵌入到HTML中使用。PHP和其他的编程语言类似，使用变量存储临时数值，使用操作符处理变量。PHP的真正价值在于它是一个应用程序服务器PHP。PHP具有数据库访问速度快、运行效率高、性能稳定等优势。它支持完全SQL标准，可以兼容绝大多数数据库系统。因此，本系统选择采用PHP++APACHE+MSSQL模式进行系统开发环境的搭建。
3系统实现
3．1数据采集功能的实现
对于整个车辆管理系统来说，车辆出入的实时数据采集尤为重要。它提供了整个系统管理和车辆出勤情况分析、汇总的基础。在此系统中，对于各分部车辆出入数据，由位于各分部局域网内的数据采集服务器分别进行采集。这样不仅减少了延时，而且在某一分部与总部间的网络链路一旦中断的情况下，仍然不影响整体系统的安全运行。从而达到分统结合、互不干扰的效果。数据采集模块通过专门的网络监查线程对局域网上的车辆出入信息，进行侦听，一旦有正确信息发送过来，就及时接受，并把卡号信息，解析为对应的车辆信息，发送至系统数据库保存。由于，FRID读卡器在车辆经过时，会不断地读取并发送数据至网络，这就造成对每一个出入卡，数据采集模块会同时收到多条重复的信息记录。而且由于采用FRID技术，使得出入两个读卡器，很有可能出现互读现象。因此，在对从网络上接受的数据进行处理时，对数据冗余的处理是个重点。数据采集模块对数据冗余问题的处理步骤如下:(1)首先设置一个时间阈值Ts，Ts用于判断间隔记录是否是连续读取，一般设Ts=10s。(2)在内存堆中创建两个能够存储20条出入记录的队列;一个用于存储出读卡器读到的记录，一个用于存储入读卡器读到的记录。(3)读取一条记录。(4)选择队列。先判断记录是由哪个读卡器读到的，如果是入读卡器读到的，就选择队列1，否则就选择队列2。(5)把读取的记录同步骤(4)所选的队列里的上次记录进行比较，如果两次记录卡号不同，就把此记录放入队列中，回到步骤(3)重新读取下条记录。如果卡号相同，则计算时间间隔ΔT1，如果ΔT1＜Ts，则抛弃此条记录，回到步骤(3)重新读取下条记录;否则转入步骤(6)。(6)计算出前后两条记录的时间间隔ΔT;如果ΔT＜Ts，则说明是连续读取，因此抛弃此记录，回到步骤(3)重新读取下条记录;如果ΔT＞Ts，则说明不是连续读取的记录，存入所选择的队列中，回到步骤(3)重新读取下条记录。
3．2管理系统的实现和主要功能
基于RFID的分散车场车辆管理系统的管理系统，采用B/S架构。后台数据库采用Sqlserv-er2005，利用Apache进行网站的构建。任何具有访问权限的用户，通过任意联网计算机都可以对车辆管理系统进行访问。可以实现查看本级车辆的运行状况，进行网上请假，销假，分析车辆运行的状况，打印车辆运行统计信息，添加车辆、驾驶员基本信息，部门添加删除及权限设置等操作。系统主要分为三个区域:左边上部为单位部门栏，各部门以树形结构显示，并可以灵活进行增添和删除;中间为显示区，显示车辆信息或者车辆运行状况及统计分析信息;左边下方为车辆信息管理、驾驶员信息管理、网上请销假及系统管理等功能模块。
4结束语
数据采集范文2
数据自动化采集技术是建筑施工现场管理中的一种新信息技术。该技术的运用是跟踪定位项目对象，实时传输数据信息，并通过计算机处理分析数据信息，进而向现场监控人员传递施工现场的具体情况，从而对施工现场进行有效监控和管理。基于强化建筑施工现场管理的目标，本文从功能用途方面对数据自动化采集技术进行分类，再对数据自动化采集技术在建筑施工现场管理中的应用展开深入研究，希望对提高施工现场管理水平有一定的借鉴作用。
关键词:
自动化数据采集技术;施工现场管理;应用
0前言
一般而言，实时有效的施工现场数据信息收集对建筑工程管理有重要影响。传统的数据收集技术需要消耗大量的人力、财力、时间等，现场监控人员往往需要消耗近一半的时间来收集和处理数据信息，而且人工数据收集对工作人员有一定的经验要求。然而复杂繁琐的人工数据收集往往导致信息不及时或者数据误差较大等，造成决策失误、效率低下等问题。先进自动化技术和信息技术促使施工现场高效管理的实现。借助数据自动化采集技术来跟踪定位项目对象，并及时传输和处理数据信息，进而向现场监控人员传递施工现场的具体情况，从而对施工现场进行有效监控和管理。
1建筑施工现场自动化数据采集技术
施工现场信息收集的实时性、客观性、全面性对建筑工程的监控管理有重要作用。除此之外，建筑施工环节信息的收集为建筑工程的监控维护创建了系统的信息平台。
1.1自动识别技术
1．1．1条码技术
条码是许多间隔排列的竖条、空和相应字符构成的标签，包含一些特定信息。该技术产生于20世纪40年代末，现在已被广泛运用，比如大型购物中心、便利店等都借助其进行产品管理，是一种比较适用、经济的自动辨别技术。同时伴随手机、掌上电脑等移动设备的出现和发展，条码技术的运用越来越广泛。
1．1．2RFID技术
RFID技术，即无线射频辨别技术，借助射频扫描辨别客体对象和有关信息，彻底转变人工操作模式，适用于一些环境恶劣的施工现场。该技术优点表现为:可远程扫描数据信息;存储容量大;信息自动更新;环境适应性较强、种类多等。然而该技术尚处于发展初期，兼容性差、成本偏高，但在其未来发展过程中，此类问题都将迎刃而解。
1．1．3其他技术
除上述两种技术以外，我们平常还能接触到的自动辨别技术包括生物识别技术、语音识别技术等，因为其在建筑项目中运用较少而且运用范围小，此处不详细介绍。
1.2跟踪定位技术
1．2．1GPS—室外跟踪定位技术
所谓的GPS，即全球定位导航系统，可随时、准确地提供定位位置。该系统由地面控制、空间和使用者三部分构成，不需要借助任何感应器，通过卫星接收或发送信号，获取目标位置的多维定位数据。除此之外，不受环境影响，可全天工作。
1．2．2室内跟踪定位技术
上述GPS技术对于视线外的目标定位准确度偏低，且室内卫星消耗损失较大。比如对于隧道施工，GPS很难保证定位的准确性。而近距离无线通讯技术的出现，有效解决了GPS复杂应用问题，为建筑施工现场管理提供技术保障。
1.3图像采集技术
1．3．1视频技术
所谓的视频监控，即影像监控，借助摄像机录下现场情况，再经由传输媒介发送至远程监控系统，并且安装镜头转动辅助装备，全方位记录现场情况。该技术实现了影像和声音的同步，实时记录施工现场情况，降低工作人员管理压力，提高现场管理水平。
1．3．2激光扫描技术
激光扫描技术是不接触监测方式的其中一种，通过激光扫描获取的信息客观准确，直观展示了对象的自身特性和变化形式，因此激光扫描技术是监测空间数据信息的重要方式。
1.4感应监测技术
传感设备是指能感应测量对象同时转换为输出信号的装备。在如今信息技术快速发展的背景下，无线监测需求促使感应监测技术的产生。其借助传感设备各节点感应监测对象信息，每个节点一般包括小型CPU、电源、接口等部件，可共同监测输出温度、空气湿度等环境信息。
2自动化数据采集技术在施工现场管理中的应用
至今为止，国内建筑施工管理仍然采取人工数据采集技术，而该技术信息采集误差大、耗时长、成本高，而数据信息的不及时增加了工程管理人员的监控难度。尽管目前自动化数据采集技术尚处于发展初期，然而其具体运用范围也逐渐扩大，主要表现为以下几点:资源配置、生产率分析、质量管理、进度控制和安全监控。
2.1资源配置
针对建筑工程的施工环节，对人力、建材、设备设施等资源的最优配置是减少成本、安全监控的重中之重。自动化数据采集技术对施工现场资源配置的应用表现为:(1)建材计划、采购、存放、领用。目前关于施工现场建材管理的问题主要有材料分类统计杂乱无章;采购计划不完善;材料存放不规范;材料回收不符合规定等。而建材管理的有效性直接影响工作效率、建造成本，因此重视对建造材料的管理对施工现场监控有重要作用。(2)工作人员、建材、设备等的跟踪定位。施工现场信息采集的实时性直接关系到管理人员决策的有效性。针对施工现场的上述资源，可自动辨别对象并存储有关信息，同时保证对象所处位置和有关信息的可视化，有利于管理人员快速查找所需资料。对上述资源的跟踪定位某种程度减少了人力成本、提高了管理水平。
2.2生产率分析
通常来讲，建筑施工现场对生产率产生影响的因素包括周围环境、人员专业水平、材料管理、设备优良程度等。据有关数据表明，仅20%左右的信息由管理层传达至基层施工人员，所以沟通不足是生产率偏低的重要原因。对此，自动化数据采集技术对改善这种情况有重要作用。相比传统人工采集，该技术提高了设备查找速度;减少了对工作人员的依赖程度;加强了材料管理水平;基于智能算法可快速发现导致生产率降低的原因。
2.3质量管理
据有关数据分析，发现影响建筑质量的主要原因是人为因素，例如工作人员的专业水准和管理水平等，同时还可能受到建材和系统的影响。自动化数据采集技术在质量管理方面的应用有:打桩时在底部安装RFID标签，据此判断打桩深度;对于各类建材，可将尺寸、规格、类别等存储在系统数据库中，保证材料的合理运用;构建完工3D模型，检测建筑物的误差和不足等。除此之外，由传感设备构成的自动检测体系对建筑施工质量管理的作用也不容忽视，通过传感器各节点感应对象同时转换输出信息。
2.4进度控制
进度控制是建筑工程顺利竣工的主要影响元素之一。在施工进度偏离原计划时，经由有效的进度控制，采取有关的调整手段，来跟上原定施工计划。目前自动化数据采集技术在进度控制方面的最大应用是视觉检测系统，即定时检测对象了解建筑工程进度。对于该系统，使用者可直接登录查询，现场监督人员可查看现场施工影响，并通过网络进行沟通交流，控制现场施工进度。
2.5安全监控
事实上，由于工作人员专业水平低、沟通交流不足、施工不规范、安全监控系统不完善，极易引发施工现场安全事故。目前加强施工现场安全监控的方式主要有两点:第一，通过培训、激励等强化施工人员的安全观念;第二，建造临时保护设施或监督施工人员配单防护装备。然而以上两种方式难以动态监控施工现场安全。因此，跟踪定位技术的运用可随时了解工作人员有无不规范操作，同时发出警告提醒;自动辨别和定位技术的运用可定位工人所处位置，在其靠近危险区域时，及时警告阻止其进一步靠近;还可借助高准度传感设备检测升降机等运行状况，据收集的信息发出报警提示，自动控制一些危险操作的建造设备等，从而有效加强建筑施工现场的安全监控。
3结语
总的来讲，先进的自动化技术和信息技术的集成取代了传统人工技术，促使施工现场高效管理目标的实现。数据自动化采集技术在建筑施工现场管理中的应用，符合新时代的可持续发展理念，提升建筑公司资源利用率;减少建筑成本费用;加强施工现场管理水准;避免安全事故的发生。由此可见，数据自动化采集技术具有自动辨别、定位跟踪、实时传输等功能，在建筑施工现场管理中的运用有广阔的发展前景。
作者：邓卉 单位：河南四建股份有限公司
参考文献
［1］杨生虎．条形码技术在ERP系统中的应用［J］．石油石化物资采购，2015(02)．
［2］张超．基于无线射频识别技术的模具管理系统研究［J］．航空制造技术，2014(05)．
［3］纪晶晶．ABC分类分析法在施工材料管理中的应用［J］．建设科技，2014(Z1)．
［4］唐任仲，胡罗克，周邦，白翱．基于无线射频识别技术的车间在制品物流状态分析［J］．计算机集成制造系统，2014(01)．
［5］金厚兵．基于wifi定位的仓储物料管理系统研制［J］．电脑知识与技术，2013(07)．
［6］张洁，郭彦臣，赵萌，王鹏．浅谈信息化系统下的物料管理［J］．河北企业，2013(02)．
［7］马智亮，张东东，青舟，刘喆，杨之恬．基于移动终端和既有信息系统的地铁工程施工现场物料管理系统［J］．施工技术，2012(16)．
［8］蒋尚亭，金毅仁．条形码技术原理及在大型超市管理中的应用［J］．安徽电子信息职业技术学院学报，2012(01)．
［9］江帆．基于BIM和RFID技术的建设项目安全管理研究［D］．哈尔滨工业大学，2014．
数据采集范文3
基于通用信号处理开发板，利用FPGA技术控制AD9233芯片对目标模拟信号采样，再将采样量化后的数据写入USB接口芯片CY7C68013的FIFO中，FIFO写满后采用自动触发工作方式将数据传输到PC机。利用VC＋＋6．0软件编写上位机实现友好的人机交互界面，将传输到PC机上的数据进行储存和实时回放。本系统主要实现以下两大功能：1）ADC模块对目标模拟信号进行采样，利用FPGA技术将采样后的数据传输到USB接口芯片CY7C68013的FIFO中存储。2）运用USB2．0总线数据传输技术，将雷达回波信号数据传输到PC机实时回放。分为应用层、内核层和物理层3部分。应用层和内核层主要由软件实现。应用层采用VC＋＋6．0开发用户界面程序，为用户提供可视化操作界面。内核层基于DriverWorks和DDK开发系统驱动程序，主要起应用软件与硬件之间的桥梁作用，把客户端的控制命令或数据流传到硬件中，同时把硬件传输过来的数据进行缓存。物理层主要以FPGA为核心，对USB接口芯片CY7C68013进行控制，通过USB2．0总线实现对中频信号采集。系统设计采用自底向上的方法，从硬件设计开始逐步到最终的应用软件的设计。
2硬件设计
FPGA在触发信号下，控制ADC采样输入信号，并存入FIFO中。当存满时，将数据写入USB接口芯片CY7C68013，同时切换另一块FIFO接收ADC转换的数据，实现乒乓存储，以提高效率。FPGA模块的一个重要作用是控制USB接口芯片CY7C68013。当ADC采样后，数据进入FPGA模块，FPGA控制数据流将其写入CY7C68013的FIFO中，以便于USB向PC机传输。CY7C68013的数据传输模式采用异步slaveFIFO和同步slaveFIFO切换模式。通过实测，前者传输速度约为5～10Mbit／s，后者传输速度最高可达20Mbit／s，传输速度的提高可通过更改驱动程序的读取方式实现。
3软件设计
3．1USB驱动程序设计
USB2．0总线传输技术最高速率可达480Mbit／s。本系统采用批量传输的slaveFIFO模式。CY7C68013芯片内部提供了多个FIFO缓冲区，外部逻辑可对这些端点FIFO缓冲区直接进行读写操作。在该种传输模式下，USB数据在USB主机与外部逻辑通信时无需CPU的干预，可大大提高数据传输速度。Cypress公司为CY7C68013芯片提供了通用的驱动程序，用户可根据需求开发相应的固件程序。
3．2FPGA模块程序设计
系统中FPGA模块的核心作用是控制AD9233芯片进行采样。AD9233作为高速采样芯片，其最高采样速率达125Mbit／s，最大模拟带宽为650MHz。通过改变采样速率可使该系统采集不同速率需求的信号，扩展了该系统的应用范围。描述FPGA控制USB数据写入接口芯片FIFO的状态机如图6所示。状态1表示指向INFIFO，触发FIFOADR［1：0］，转向状态2；状态2表示若FIFO未满则转向状态3，否则停留在状态2；状态3表示驱动数据到总线上，通过触发SLWR写数据到FIFO并增加FIFO的指针，然后转向状态4；状态4表示若还有数据写则转向状态2，否则转向完成。
3．3上位机设计
为实现人机交互，利用VC＋＋MFC在PC机上编写了可视化操作界面，即上位机。上位机既用于数据采集的控制，同时也用于采集数据的实时回放。上位机界面如图7所示。上位机主要功能：1）按下“检测USB”按钮，可检测USB是否连接正常，并显示USB基本信息。2）按下“开始采集”按钮，可将采集的数据传输到PC机并实时回放数据波形；再次按下“开始采集”按钮，可暂停数据波形回放。3）按下“保存数据”按钮，可将采集的数据以＊．dat文件的形式存储到PC机硬盘。4）按下“结束采集”按钮，可关闭采集系统并退出界面；或按下“确定”和“取消”按钮，也可直接退出界面。
4系统实测
为了测试数据采集与回放系统，利用通用信号处理开发板设计了DDS模块。该DDS模块产生一个正弦波作为测试信号，通过AD9744芯片转换后变为模拟信号输出，并将此输出信号接至示波器以便验证系统。数据采集与回放系统的实物图及系统实测波形与回放波形。
5结束语
数据采集范文4
目前我国大中型水面舰船的武器系统采用了较多的新技术，技术维护保障任务比较繁重，对作战系统的标校提出了更高的技术要求。作战系统标校数据的积累与分析是提高武器系统作战能力的有效途径。传统作战系统标校数据存储主要为纸质数据，数据类型和格式的不统一造成了分析处理存在困难，限制了数据分析对武器系统技术保障的支撑作用，同时这些数据仅仅作为检验验收的依据，检验验收后将其归档不再利用，实际上这些数据大都可以在检查使用过程中作为可靠性和可用性参考数据，具有利用价值。基于此，本文设计了作战系统标校数据采集与分析系统，通过对作战系统标校数据的规范化录入、利用相关的数据处理技术进行数据的挖掘与分析，通过人机交互等方式实现标校数据的应用，为提升作战系统标校信息化保障能力提供有力支撑。
2系统的基本组成
作战系统标校数据采集与分析系统总体由数据录入分系统、数据分析分系统、人机交互分系统三个分系统组成。
2．1数据录入分系统
数据录入分系统主要是将基础数据和通过数据预处理得到的作战系统标校数据一并进行录入，构建作战系统标校数据库。采用的录入方法为人机交互操作录入。
2．2数据分析分系统
数据分析分系统主要是实现对录入数据的查询以及挖掘与分析，采用的主要数据分析方法包括数据挖掘技术、联机分析技术和统计分析技术等。
2．3人机交互分系统
人机交互分系统主要是人员对系统的管理的实现，包括用户管理与访问控制和访问日志两个部分。针对不同的角色，本系统采取了不同的策略：系统管理员有所有的菜单权限和增删查改权限，操作员有所有的菜单权限和增查改权限，但操作员不能对数据进行删除。
3系统的基本功能
系统设计采用录入终端和数据库服务器相结合的方式实现标校信息的数据采集，用记录的数据和分析模型指导标校工作的进行，从而实现系统的基本功能。基本功能主要由数据采集、数据管理、数据分析三方面组成。
3．1数据采集功能
系统的数据采集功能主要体现在采用录入终端对作战系统标校数据进行实时采集；对舰上标校数据进行记录和计算；将录入终端中记录的数据上传到数据库服务器上。
3．2数据管理功能
系统的数据管理功能主要体现在作战系统标校数据存储在数据库服务器中后，可以通过服务器进行查询；数据库服务器能接收数据录入终端上传的数据，形成标校指导书，方便标校人员在数据录入终端上下载指导书，按标准化程序进行标校。
3．3数据分析功能
系统的数据分析功能主要体现在数据对比和统计分析。通过数据查询功能，指定一个需要进行数据对比的标校项目，并可以通过查询条件“舷号、被检设备、测试人员、填写日期”的自由组合，来筛选出想要的数据。通过逐行列举同类型的数据，给使用者提供横向数据对比的功能。指定一个需要进行统计分析的标校项目，并可以通过查询条件“测试人员、填写日期”的自由组合，来筛选出想要的数据。对指定的标校项目数据中的不合格数据进行分析，得出不合格的开始时间，结束时间，不合格间隔时间，不合格间隔次数，给系统使用人员在决策分析中提供数据支持。
4系统实现所需的关键技术
4．1数据采集技术
采用的数据录入方法为人机交互操作录入。人机交互操作录入数据主要通过录入终端上的图形用户界面，将作战系统标校的相关信息按照统一要求，在每次标校结束后进行及时的数据录入。以某次远海训练舰炮水平度标校为例，对舰炮水平度进行标校后，要及时录入标校数据。本系统中录入的数据主要包括：舰艇舷号、被检设备、测试设备、基准平台、时间、地点、测试人员、技术要求、某一方向水平度、测试次数、被测部位、舰平台、每次误差、平均误差、另一方向水平度的检查结果，最终得出舰炮水平度的标校结论。如果没有故障，在平时的标校后也要对相关数据进行录入。
4．2数据分析技术
系统的核心功能是将作战系统标校后录入的数据生成用于分析的数据库，根据标校任务需求的不同再进行分析。对标校数据的分析处理主要采用数据库处理技术，其中数据挖掘技术和联机分析技术是数据库主要使用的方法。数据库处理技术主要有数据挖掘和联机分析技术，这两种技术处理的问题类型不同，分析的深度不同，相互之间相辅相成。1）数据挖掘技术数据挖掘是基于人工智能、机器学习、统计学等技术，高度自动化地分析原有数据，做出归纳性的推理，从中挖掘出潜在的模式或行为，以帮助决策者做出正确决策的过程。由舰炮水平度标校数据得到舰炮作战系统因水平度产生故障时的累计使用时间，采用灰色GM（1，1）模型预测历史数据序列的趋势性成分，同时引入马尔可夫模型预测随机性成分，描述舰炮作战系统的水平度故障趋势，确定下一次标校的时机。取前八个数据为原始数据序列，后两个数据用来和模型产生的预测值进行比较。对十组数据分别采用GM（1，1）模型和灰色—马尔可夫模型进行模拟和预测。灰色—马尔可夫模型的预测结果的平均相对误差小于单一的GM（1，1）模型，尤其是在未来两次的预测中效果更明显。基于灰色组合模型确定标校周期比单一的灰色预测模型效果更好。2）联机分析技术联机分析处理（OnlineAnalyticalProcess，OLAP）是针对特定问题的联机数据进行的访问和分析，它是利用存储在数据库中的数据，根据用户提出的问题，进行各种分析操作，并以较为直观易懂的形式将结果返回给用户。标校数据库中存放着大量数据，而决策者往往希望以简洁的描述形式观察汇总的数据集，此外还希望从不同的条件和角度描述数据，这就需要以简洁概要的方式描述作战系统的标校信息。系统采用OLAP方式对标校数据在不同维（每一维代表对标校数据产生影响的一种因素）中进行切片（在多维数据库的某一维上选定一个维成员）、切块（在多维数据库的某一维上选定某一区间的维成员）等分析操作，可以综合界面友好的人机交互技术，最终将结果以多维的形式显示给用户。在使用的标校数据信息量比较庞大时，每一组多维数据都可以采用三维的结构，即采用多次切片的分析动作。对于舰炮水平度标校显示出的舰炮作战系统故障情况，在时间维和海情维上进行分析，可以确定舰炮武器系统在使用的不同时间段和不同海情条件下因水平度产生故障的次数、故障间隔时间等，决策者可根据分析结果清楚地掌握舰炮作战系统在不同的时间段和海情条件下出现故障的总体情况；同样的，也可以在其他维度上对故障情况进行分析。
5系统的效益分析
通过对作战系统标校数据的积累与分析，能够对作战系统的维修校正、排故操作和装备保障提供支撑。作战系统标校数据采集与分析系统的效益主要体现在提高标校效率、优化排故步骤和提升装备保障水平三个方面。
5．1提高标校效率
主要是通过优化标校的时间间隔和科学的评价标校结果来提高标校效率，具体实现如下：1）优化标校的时间间隔以作战系统标校数据为依据建立标校模型，根据历史的标校数据预测下一次标校的时机，优化标校的时间间隔。2）科学的评价标校结果通过统计作战系统标校项目、分析标校数据和评价标校项目指标，对标校结果做出合理评价，并可根据分析情况给出改进建议。3）减小装备故障几率对作战系统出现的故障进行分析，可以改进使用方法，减小因使用不当造成的故障几率。
5．2优化排故步骤
通过对历史标校数据的分析，装备保障人员在装备维修过程中，可通过标校数据的查询找到相似装备故障产生的原因，从而缩短确定装备故障原因的时间，优化排故步骤，对装备排故方法进行优化。
5．3提升装备保障水平
提升装备保障水平主要体现在对作战系统故障的发现和装备的维护与改进上，具体如下：
1）作战系统标校人员标准化标校。将作战系统的故障类别、排故方法等标校信息进行留存，通过对保存的标校数据和故障类别的提取，在繁多的故障中寻求最高效的方法确定装备故障，形成标校指导书，装备保障人员对照标校指导书按标准化程序进行标校。
2）对作战系统使用状态进行预判。通过对大量作战系统使用状态数据的统计分析，对作战系统的未来状态进行预测，对将失去作战效力的装备进行更换维修，保证作战系统的效能。
3）总结作战系统故障规律及确定标校周期。通过对大量标校数据的统计分析，可以得到作战系统故障的规律，确定进行标校的周期，装备保障人员适时及时进行作战系统的标校，提高保障效率。
4）改进作战系统，提升研发水平。通过对作战系统故障情况的分析，将现有作战系统中那些经常出现故障，影响作战性能的部件，进行改进设计，使作战系统更好地实现作战效能。通过对录入标校数据的分析，可以判断现有作战系统技术上的不足，为装备研发人员对下一代作战系统的研发提供数据支持。
6结语
数据采集范文5
［关键词］网络视听节目；主题爬虫；广度优先搜索；多进程调度
近十年，网络视听媒体发展迅速，视听节目传播数量呈爆发式增长，并呈现数据更新频繁、内容丰富多样等特点。网络视听媒体平台在提供丰富多样的节目的同时，也为一些“丑、色、怪、假、俗、赌”等各类违法违规信息提供了传播渠道，损害了网络视听媒体的影响力和公信力，助长了社会不良风气。因此，建立智能化的网络视听节目监管系统，推动监管系统创新发展，在海量数据信息中快速、准确地提取出视听节目，及时发现和解决各类违法违规问题，对构建风清气正的网络视听环境具有积极意义。目前，大多数网络视听节目监管系统主要通过定制模板爬虫程序的方式来采集目标网站数据信息，此类模式的爬虫程序需要人工归纳和提取目标网站 Web页面中视听节目的所属板块、上传者、下载地址等信息来作为该网站爬虫程序的模板。其优点是采集数据准确率高，但若网站发生改版，模板程序匹配不到对应的属性信息，则会导致无法抓取到网站数据，这就需要技术员重新修改爬虫程序模板，才能采集到所需数据。此类定制模板爬虫程序根据特定网站属性而制作，因此不适用于其他网站数据信息的采集，其扩展性和通用性较差。文章研究通用型模板主题爬虫程序，使其普遍适用于网络视听节目服务网站的视听节目数据采集，并为构建智能化网络视听监管系统提供具有参考意义的案例。
一、通用型模板主题爬虫程序的实现
主题爬虫程序是一个自动提取与主题信息相关网页的搜索程序。其具有三个方面的核心技术问题，一是设定采集数据目标的描述或定义；二是网页数据信息的过滤与分析；三是网站 URL 的遍历策略。文章讨论的通用型模板主题爬虫程序预设置主题相关信息为视听节目特征元素，采用文字密度页面分析技术，提取出与主题相关的视听节目链接，而网站遍历策略则以广度优先搜索策略与“海捞”算法相结合的方式来采集目标数据信息。
（一）视听节日特征元素
在网络视听节目服务网站中，不同的开发者虽然在采用技术及代码方面存在一定的差异，但是也会遵循统一的技术规范。文章在对大量 Web 页面传播视听节目的代码进行分析研究的基础上，经由高层次抽象提取、归纳，提取出视听节目在 Web 页面代码中的共同特征信息，作为通用型模板主题爬虫程序的主题目标信息，此种主题爬虫程序能普遍适应大多数互联网视听节目服务网站的数据采集。在通常情况下，Web 页面中的视听节目编码的后缀名信息、 引用播放信息、播放器加载信息、特殊播放格式信息等，均遵循一定的规律特征，主要表现为以下几种情况。一是 Web 页面中视听节目的后缀名编码规则。在通常情况下，视听节目常用格式有 MPEG、AVI、ASF、MOV、WMV、3GP 等，这些文件格式在 Web 页面中的代码也以相应的视听文件后缀名格式出现，如 MPEG 文件格式视听节目在 Web 页面中编码的后缀名为“.mp4”，AVI 文件格式视听节目在 Web 页面中编码的后缀名为“.avi”等。二是 Web 页面中引用视听节目也具有一定的编码规则。为了提高网站数据资源的丰富性，有部分视听节目服务网站传播的视听节目除了本网站所属服务器的资源，还调用其他媒体平台的视频资源，如引用央视网、优酷、腾讯、爱奇艺等媒体平台所提供的视听节目源。这些引用站外平台节目源的网站在 Web 页面中会出现引用媒体平台的 URL 地址相关标识。 比如，某网站引用央视网网站平台的视听节目资源，则在该视听节目展示区域的 Web 页面编码中就会含有“cctv.com”等元素。三是 Web 页面中加载播放器信息的编码规则。互联网视听节目服务网站为用户提供视听节目服务，需要在 Web 页面代码中加载播放器相关信息。目前被广泛使用的播放器的类型主要分为专用播放器、流媒体、flash、现代播放器等。流媒体是目前网络平台较为流行的视听媒体传播格式，其常见的格式有 M3U8、RA、RM、SWF 等。其传播方式是把视听节目压缩后，按规则将视听节目拆分成多个小片段，以视频流（视频片段）的方式发送至用户端，当特定播放器接收到视频流（视频片段）后，用户即可边播边看。此外，有部分网站也通过调用专用播放器的形式为用户提供视听节目在线观看服务，例如调用爱奇艺、优酷、腾讯、哔哩哔哩等平台研发的专用播放器。另外，也有部分网站采取调用 player 等通用播放器的方式为访问用户提供视听节目在线观看服务。在 Web 页面中加载这些流媒体播放器、专用播放器等播放器信息，页面编码均呈现特定的编码规则，如含有“showPlayer”“player.video.qiyi.com”“flvplayer.swf”等播放器信息编码元素。四是特殊播放器在 Web 页面中的元素特征。除了上述情况，还有部分互联网视听节目服务网站以加载特殊播放器的方式提供视听节目，其页面编码也有相应的规律，如含有“aliyunlayer”“playerframe”等特征元素。通过分析上述几种视听节目特征元素发现，网络视听节目服务网站在为用户提供视听节目在线观看服务时，其 Web 页面中的编码元素均具有一定规则，根据这些编码元素的特征和规律，配置为主题爬虫程序的目标信息，制作成基于视听节目识别的通用型模板主题爬虫程序。此类爬虫程序作为网络视听节目监管系统中数据信息采集的重要手段，解决了原有定制模板爬虫程序通用性较差等问题。主题爬虫程序根据 Web页面中含有符合视听节目的元素特征的某一种或多种元素来判断页面含有视听节目的概率，网站页面的链接中含有符合视听特征的元素越多，则该链接为视听节目链接的概率就越大。在通常情况下，在程序调试及实际使用过程中，使用者根据网站采集数据的正确率，对主题爬虫程序主题相关度的阈值进行调整，以提升程序采集的准确率。
（二）爬虫主题信息相关度计算
文章讨论的通用型模板主题爬虫程序中的主题信息为视听节目特征元素，其在 Python 程序中用正则表达式来标识。在主题相关度的计算过程中，利用视听节目特征元素对某一个 URL 进行评分时，需要下载 URL指向的目标页面，再对其进行评分，并在配置文件中设置好主题相关度的阈值，如果主题相关度得分大于这个阈值，就进行下一步处理，否则就把这个 URL 对应的页面丢弃。笔者将从 Web 页面提取的视听节目特征元素个数 n作为空间向量的维数，设置特征元素的权重 ωi作为每一维度分量的大小，则该主题空间向量表示为对网页代码的空间向量建立进行统计，计算出视听节目特征元素出现的个次数，并求出对应的频率之比，将出现频度最高的特征元素作为基准，其频率用x1=1表示，通过频率比求出其他特征元素的频率 xi，则这个页面所对应的向量的每一维度分量为 xnωnϱ， 那么网页代码对应的空间向量表示为：用两个向量的余弦表示页面的主题相关度为：同时， 技术员设定一个阈值 m， 当 cos< ϱ大于等于 m 时，目标页面与主题相关度高，如果小于 m，则目标页面与主题相关度不高，可直接把该页面做丢弃处理。在实际应用过程中，技术员可以根据采集数据的正确率对 m 阈值进行微调。但是此种通用型模板主题爬虫程序在应用中的准确率无法达到100%，需要进一步结合人工智能模型进行训练，不断调整主题相关度的阈值，以提升主题爬虫程序的准确性。
（三）网站遍历策略
文章讨论的主题爬虫程序采用广度优先搜索策略与“海捞”算法相结合的方式来采集目标数据信息。网络爬虫的原理基本大同小异，主要包括广度优先搜索策略、深度优先搜索策略和最佳优先搜索策略等，其中广度优先搜索策略遍历网站，遍历方式类似于树的按层次进行搜索。假设网站所有顶点集合为图 G，其初始状态是“所有定点均未访问过”，在图 G 中任选一个顶点 Vi作为爬虫程序最初的出发点。则广度优先搜索遍历网站的基本思路为：先访问出发顶点 Vi，紧接着依次访问其邻接点 W1，W2，...，Wi，然后再依次访问与 W1，W2，...，W相邻接的所有未曾访问过的顶点。依次循环，直至网站中所有与初始出发点 Vi有相同路径的顶点均已访问为止，则完成整个网站的搜索遍历。广度优先搜索策略能较好结合主题爬虫程序对目标网站充分、快速、准确地进行数据信息采集。通用型模板主题爬虫程序的分析算法用“海捞”算法，其也叫 Fish-Search 方法，工作原理为：把主题爬虫程序比喻成海里的鱼群，把爬虫抓取主题相关的有效网页比喻成食物，把整个网站比喻成大海。当鱼群发现食物后，会繁殖后代，即为增加有效网页里的链接，对 Web 页面内容进行分析，将主题相关度高的页面链接加入待爬取队列，直到达到预先设定的网页层数才终止程序退出。因此，主题爬虫程序将“海捞”算法结合页面内容进行分析，以视听节目特征元素作为爬虫抓取主题相关的目标，完成目标页面中视听节目链接的采集。
二、爬虫工作流程
程序将需要采集的网站集合至待爬取网站队列，基于通用型主题爬虫程序根据设定数据采集规则对目标网站的 Web 页面数据信息进行搜索遍历，并下载相关网页信息。程序搜索目标网站信息的同时，提取页面中所有的URL，排重后存放至待爬取的URL集合队列。页面分析程序则对已下载于存储中的目标网页数据信息进行分析研判，识别出各个网站中含有视听节目的URL，并将相关页面中的视听节目标题、者、时间等信息一并存入数据库中。其采集流程分为五步，如图1所示。
三、多进程任务调度
基于网络视听节目分析的通用型模板主题爬虫程序在采集网站数据信息过程中，需要访问待爬取的目标网站，并分析 Web 页面的数据信息，下载与主题相关的目标页面。为了提高程序执行效率，本系统建立了多进程爬虫程序调度模块，该模块对主题爬虫的数据采集程序、数据下载程序、页面分析程序等进行整体统筹调度，根据各个资源池待分配的任务情况，及时、有效地调度各个程序协同分工合作，以达到各类进程同时并行执行的目标。多进程协同并行执行的模式，主要根据待抓取网站数量来分配同时执行进程的数量，进程的最大数量受服务器 CPU 内核限制，单核 CPU 的服务器只能同时执行1个进程，本系统采用的服务器为多核 CPU 服务器，最多可同时并行执行8个进程。其工作原理为：调度程序根据待采集的目标网站数量，分配对应的主题爬虫程序对不同的目标网站分别进行数据采集，主题爬虫程序把采集到的 Web 页面信息下载存入至存储器中，调度程序分别在等待队列中的页面分析程序对缓存中的页面数据进行分析研判，并返回识别到含有视听节目的 URL 信息。
四、结语
近年来，国家网信办持续在网络媒体平台开展系列“清朗”专项整治行动，推动网络空间健康有序发展。在此形势下，监管部门及网络媒体平台应不断创新理念、方式与模式，依托先进科学技术方法，通过人工智能等技术破解网络视听媒体平台监管过程中的各种难点和痛点，进一步加强监督管理，切实维护好网络用户的合法权益。面对日趋复杂的网络媒体环境，文章研究的通用型模板主题爬虫程序仍处于初级阶段，其在解决智能化网络视听节目监管过程中仍面临诸多问题，当下人工智能等技术快速发展，主题爬虫程序如何更好地结合机器学习、深度学习等先进技术进行更智能的训练、 学习， 建立更加智能化的采集模型，还需要进一步探究。
［参考文献］
［1］杨本栋 . 基于网页信息自动提取的分布式爬虫系统设计与实现［D］. 北京：北京邮电大学，2021.
［2］程光，吴桦，王会羽，等 . 僵尸网络检测技术［M］.南京：东南大学出版社，2014.
数据采集范文6
关键词：数据采集；CAN总线；云数据备份；4G网络
新型号的汽车在进入路试后，经常碰到各种各样的故障，需要专业人员进行及时的数据分析处理，以判定是哪一个系统和部件出了问题。通过数据采集器采集车辆数据，然后及时本地压缩存储后再通过4G无线网络上传到远在千里之外的云平台存储备份。让专业人员进行数据分析，查找问题，加快研发进度。
1系统网络组成
系统分三部分组成，带数据采集器的路试车辆、负责云端数据接收和分发的后台服务器以及应用和操控的网络电脑。在路试的每个车辆，配备一个数据采集器，其ID与车辆的特征码绑定，以区分是那一辆车的数据。每个数据采集器最多可提供八路的can信号的数采集。分布式的应用电脑透过网络读取后台服务器的数据开展业务。
2数据采集器基本特点
本设计为满足汽车数据采集而设计，考虑到系统的复杂性及成本，最多提供八路高速can2.0采样，速率250kbps,500kbps，1Mbps可以调整。预留一路LINBus信号采样。采集数据除了can数据外，还包含设备身份信息，定位和采集时间的基本信息，可以满足使用要求。数据无线传输使用4G网络和wifi网络传输到指定的后台。且4G网络和wifi网络自动切换。在硬件方面，由于是和汽车一起野外测试，要求稳定可靠，能够抗得住极低温和极高温以及强烈震动的不良使用环境下的考验。还要满足汽车恶劣的电磁环境的使用要求。所以，在设计采集器时，我们选择了带汽车级别的AECQ100认证的主动器件，以及带AECQ200认证的被动器件，以保证在-40~85℃环境下使用的可靠性。在PCBA上的设计使用了八层板的设计，EDS器件的使用，金属外壳的使用。保证了该设备在强电磁环境下的稳定可靠。最终测试满足汽车部件的企业考核标准。
3数据采集器基本功能
数据采集方面本设备具有八路独立CAN通道采集数据功能。速率支持250Kbps及500Kbps，1Mbps，支持CAN2.0A及CAN2.0B数据采集格式。支持CAN数据ZIP及GZ压缩算法，可以扩展其它压缩算法；CAN数据在本地循环存储，并且使用FTP上传到后台。LED可以实时显示数据收发状态。使用GPS及无线网络NTP对系统进行校时。设备留有以太网网口，支持10M/100M/1000M高速以太网数据存储及通信。提供4G高速上网功能。具有WIFI客户端联网功能。外扩SD/T卡功能，可以将数据导出到移动存储设备。
4数据采集器的组成与基本工作原理
在图1中，数据采集器主要由采集电路、数据处理电路、数据传输电路三部分组成。数据采集电路由八路独立的CAN数据采集器完成从外部总线上的数据采集。CN1到CN8是接线端子，CAN信号的输入。U12是CAN信号收发器，完成信号的电平和传输方式的转换。U13是CAN信号控制器，起到将来自于MPU的数据按CAN信号的格式进行收发。其他路与此相同。U1是MPU，它与U3PMIC，U4EMMC，以及U5DDR3共同构成了最小数据处理SOC系统。来自于CAN信号控制器的数据在MPU时序的控制下，进入MPU，在这里与来自于U2的定位信号以及来自于RTC的时间数据，完成数据的整合与压缩及打包。数据传输由U2完成，它是4G无线通讯模块，通过它与后台交互数据。还有电源系统U10提供了电源供给，U9是MCU，进行开关机时序的管理。
5数据采集器的硬件设计
在架构选定后，硬件设计包含元器件的选型，原理图的建立以及后面的PCB布局和线路板设计与仿真。
5.1数据采集器重要元器件的选型。数据处理的核心是MPU，MPU的计算能力必须要满足大量数据的实时计算与压缩和打包。IMX6Q是一个内部带有CortexA9的4核ARM处理器，主频高达1.2GHz以上。IMX6Q芯片带有WEIM接口，支持16/32bit的地址/数据总线混合模式，这个接口可灵活配置地址/数据端口，支持外接SRAM、NorFalsh和OneNAND等设备，与的SJA1000T总线控制器数据接口通过电平转换器匹配。
5.2数据采集器的重点电路设计。CN1，CN2，CNX，CN8是8路canbus数据采集的输入口连接器，可以接收can2.0的数据，支持速率250kbps和500kbps的数据取样。最高可到1Mbps的速率。U12是NXP的TJA1042，是其中一路的can2.0数据的信号收发器，它将两线制的can差分信号转换成TXD与RXD的串行信号与can信号的控制器衔接。U13是NXP的SJA1500T，它是can数据的收发器，与后面的处理器衔接。将发送的并行的数据转换成can信号发送出去，也可将前级送来的can信号，转换成并行信号被处理器接受。该收发器可设置不同的波特率，以适应采集信号的要求。同时，每接受16帧can信号后，给处理器发出一个INT请求，也可报错。处理器在收到INT请求后，由于内置64bytes的FIFO。一次性可读取16帧can信号,同时指示一路LED灯亮。U1是IMX6Q是一个内部带有CortexA9的4核ARM处理器，主频高达1.2GHz以上。它与周边的U3，U4，U5和U6构成了最小的SOC系统。配置了DDR31Gbytes的内存，32GBitsFlash存储器。U3是电源管理器，DC5V的输入，它提供了整个SOC的供电。以及上电时序的管理。本地的SD卡提供循环存储备份。U20是wifi模块，支持IEEE802.11bgn，U2是4G无线通讯模块，带卫星定位功能。通过协议打包的数据，使用wifi网络及4G网络上传数据。U10是DC/DC，由DC12V转换成DC3V3供外设使用，5V供USB，MPU系统使用，3V8供给4G模块单元使用。U9是32位的MCU，对系统的电源，上电时序进行管理。可以监控CAN信号是不是存在。U8是RTC，给系统提供时间，由网络和GPS校时。
6系统软件设计
系统从下到上依次为硬件层、OS层、平台层、服务层及应用层。硬件层主要由MPUMCU及电路组成，OS层为负责车端的RTOS及负责应用的Linux系统组成，平台层主要为各种硬件及操作系统资源的抽象层，服务层主要提供CAN、WiFi、file、LED、storage、4G等services，应用层通过调用service层提供的服务来实现具体的功能。
6.1系统软件特性。MPUOS采用Linuxkernel4.9.11版本，采用RAM高速缓存存储CAN帧，然后转存至外存，采用ZIP压缩，CPU占用小、效率高，采用FTP上传，支持断线重传。采用循环存储策略，有效防止存储溢出。MCUOS为UCOSRTOS，采用高速CAN实时采集车况数据，并发送控制指令。MPU系统高速采集多路并行CAN总线数据。Platform层主要是SOC及外设驱动适配层,维护及监控整个板卡的工作状态。Service层主要为4G拨号上网，WIFI热点链接，高速以太网连接，GPS定位、CAN数据采集。APP应用层主要包含CAN数据压缩存储及上传，LED状态更新，网络时间同步，GPS数据的存储上传，4G拨号、WIFI、以太网配置等。
6.2系统启动。上电后MCU率先启动，打开MPU电源，初始化RAM/ROM，引导进入LinuxOS。初始化UART、EMMC、RTC、LED、Ethernet、WIFI、CAN等设备驱动，初始化文件系统、TCP/IP协议栈、shell环境等。接下来启动4Gmodule，使用PPPD进入拨号流程，获取公网DNS及IP地址。然后是WIFI热点链接，在linux上映射为WIFI0网口，绑定DHCPclient及DNSclient，搜索到WIFIAP后，加入到网络中，在4G网络不可用时，切换gateway为WIFI0。上述过程ready后MCU会同linux进行时间同步，系统启动后，linux需要从MCU获取车辆VIN码，并和MCU进行时间同步，同时LINUX会从网络上获取基站时间。MCUVIN码的获取是在车辆上电后，MCU会启动CAN协议栈，发送UDS诊断包，车辆收到诊断包后，发出VIN序列号给到MCU，MCU收到后存入ROM中，并且通过UART接口发送给MPU系统。接下来是CAN帧采集,实时从can接口抓取CAN帧，并写入设备序列号、CAN端口号、时间序列等。经过上一步打包的CAN帧，转存入RAM高速缓存中，并启动压缩程序。随着ZIP压缩程序的启动，CAN帧原始文件，经过ZIP压缩打包后，存至EMMC中。这时候系统会启动FTP数据上传。为了实现循环存储,CAN帧原始文件在转存至EMMC后，监控程序会轮训文件夹大小，size超限后，删除时间最老的文件。整个过程会伴随着LED状态的更新,监控程序会检查CAN网络包的状态，根据数据统计结果更新点亮LED指示灯，在5S内数据统计不再跳动，则熄灭LED灯。
7整体运行调试与结果
满载八路CAN信号发生器接到CAN采集器上，采集器抓取到CAN帧，打上时间戳并发送到测试后台，测试后台抓取到数据包，转交由分析程序分析。分析程序解判定收到的帧的丢帧率和错误率。采集器在有CAN数据流时点亮指示灯，反之熄灭LED指示灯。在4G在网络正常时，可以正常拨号上网。在WIFI网络正常时，可以正常接入到WIFI热点。在插入以太网后，可以正常获取DNS及IP地址。设备可以从基站获取时间，并且MPU和MCU可以保持时间同步。CAN帧可以正常压缩上传，并且在远端FTP服务器上可以收到CAN帧，并且CAN帧完整无异常。EMMC外存在存储达到上限后，自动删除，达到循环存储要求。测试下来八路CAN同时加载的情况下误码率不超过千万分之一，达到预期设计验证效果。
8结束语
本文通过对无线多路汽车数据采集器的设计与分析，简单分析了其系统网络工作环境，对其特点以及工作原理进行了简单描述，从设计的角度对其硬件配置以及重要元器件进行了描述，随后通过系统软件设计使其得以实现，通过系统测试后，运行良好，达到预期验证效果，无线多路汽车数据采集器的应用既可以帮助相关工作人员处理问题又可以提高工作效率，再此领域起积极作用。
参考文献
[1]董文信,柴克谦,张福雄.基于USB2.0的高速数据采集器设计[J].山东工业技术,2016(16):135.
[2]邓召文,周围。基于CAN总线的汽车数据采集系统开发[J].制造业自动化,2019-05。
数据采集范文7
关键词：磁感式传感器；MEMS加速度传感器；数据采集；测斜仪
0引言
煤矿井下钻探工艺是探查和治理地质构造、老空区、探放水、瓦斯泄压等致灾因素的常用手段［15］。目前钻探工艺中常采用钻孔测斜仪对钻孔轨迹进行测量，钻孔测斜仪测量测得两个重要的参数，倾角和方位角，从而计算出钻孔轨迹，以确定钻进轨迹是否按照设计的轨迹进行钻进，而倾角和方位角的计算需要得到地磁场信息和地球重力场信息，目前大多矿用钻孔测斜仪数据获得都是通过磁阻传感器或者磁通门传感器来感知地球磁场信息，这样的数据采集系统成本较高，测量的大多是电信号，处理电路相对复杂，体积大，功耗高，磁滞较大［69］。本文基于磁感式传感器和MEMS加速度传感器以及专用的测量驱动芯片设计的测斜仪数据采集系统具有磁滞小、响应速度快、功耗低、体积小、硬件结构简单的优点［1015］。可以为钻孔测斜仪后续的姿态解算以及误差补偿提供有力的支撑。
1采集系统总体结构
本文设计的测斜仪数据采集系统的整体框图如图1所示。系统主要由电源、2个SENR65和1个SENZ65磁感式传感器、采集驱动芯片3DMagIC、MEMS三轴加速度传感器、16位A／D转换芯片和STM32F103微处理器组成。3个单轴磁感式传感器配合3DMagIC采集驱动芯片用于测量地球磁场的地磁场信息；加速度的采集选用三轴MEMS加速度传感器测量，加速度传感器将采集到的加速度信息转换成模拟的电压值，通过16位A／D转换芯片转换后送入到STM32微处理器处理。通过RS232串口通信可以将采集到的信息通过上位机的VC程序显示，从而计算倾角、工具面向角、方位角。
2电源电路设计
电源模块是测斜仪数据采集系统必不可少的一部分，电源电路的优劣直接影响到整个系统工作的可靠性。本文的电源部分任务是将本安电池组输出的5V电压的转换为系统所用的3．3V工作电压。为了保证系统的稳定性、低功耗、体积小，本文设计采用美国国家半导体公司推出的微功耗线性稳压器LP29853．3作为系统电源芯片，该器件具有输出电压精度高，功耗低，芯采用SOT235小型封装，并且有过热、过流保护功能，价格也极具竞争力。其连接电路如图2所示。
3磁传感器电路设计
本文设计的测斜仪数据采集系统选用2只SENR65和1只SENZ65传感器并且配备有集成度较高的专用驱动模块3DMagIC专用测量驱动芯片来测量地球磁场信息。SENR65磁感式传感器是美国PNI公司基于磁感应技术研制的最新产品，地磁场变化同电感的变化成比例关系，其通过测量震荡电路的电感变化，从而得到有关的地磁场信息。PNI磁感传感器具有磁场测量范围大、功耗低、抗噪性能好、分辨率高、温度范围广和价格低等优点。设计时3个传感器布局尽可能距离相近，从而减小磁场梯度的影响，3个传感器互相垂直放置，形成一个标准的正交系，减小安装误差。此外，传感器与阻值为68欧的偏置电阻相连接，减小了各轴的传感器灵敏度和放大电路特性不完全同引起的测量误差。系统采用专用驱动模块3DMagIC，可缩短研制周期，简化布局。它可以独立控制和驱动每个传感器轴进行测量，不受温度和零点的影响，具有极低的功耗，典型值仅为250μA。而且专用驱动芯片内部实现了磁场微弱信号的放大和数字量的转换，从而省去了在传感器和微处理器之间加A／D转换芯片的麻烦。磁传感器测得的磁场信息经过专用驱动芯片转换为数字量后，通过SPI总线与微处理器进行通信，从而计算得到地球磁场信息，改总线支持全双工通信，传输速率快。专用驱动芯片配合三轴PNI传感器在本系统的应用大大简化了电路设计，并且省去了信号调理部分，具有体积小，稳定性好，价格低等特点。在本文中采用驱动模块的标准模式，能够对3个轴的磁场依次测量，响应时间较短，达到15～30ms。驱动模块和传感器连接的电路如图3所示。
4加速度传感器电路设计
矿用测斜仪系统倾角和工具面向角的测量一般都是通过加速度传感器测量计算得到。本文设计的数据采集系统采用MEMS三轴加速度计传感器，该加速度传感器采用模拟量输出，零点对应1．65V。其测量范围为±2g，灵敏度系数为560mV／g，非线性度为0．1％FS，2．8～3．3V均可工作；功耗低，静态电流约1．1mA。并且其内部对外部温度变化和电压波动引起的偏差进行了补偿，测量误差较小。更为重要的是该加速度计电路简单，只需要几个电容就可以完成电路的设计。因为该加速度传感器采用三轴模拟输出，所以需要AD转换电路进行转换。本文采用凌特公司的16位的AD转换芯片，该芯片把加速度传感器输出的模拟电压转换成数字量送给微处理器计算。可以单电源供电，运行速率高、功耗底，跟处理器之间的连接通过串行总线连接，大大精简了A／D转换器与微处理器之间的连接，使得系统运行更加准确流畅。图4示出了加速度传感器测量电路。
5数据采集设计
整个采集系统软件设计采用模块化设计思路。本文下位机软件采用的开发工具是KeilMDK，上位机软件用VCC＋＋编写。软件系统的设计根据硬件电路各个模块完成的不同功能，采用模块化的设计方式，把采集系统要完成的功能模块化，再编写各个模块的软件。对各个模块的功能完成软件调试后，再对各个模块完成协调整合，最后得到整个采集的数据。整个软件采集界面通过串口数据框显示当前串行接口接收到的数据帧；另外，传感器数据框显示矿用测斜仪采集系统的HX，HY，HZ3个分量的地磁场值和GX，GY，GZ3个方向的重力加速度的当前测量值和总矢量值；传感器自身输出稳定性是决定数据采集系统测量精度的关键，本系统设计的数据采集系统加速度传感器的输出可基本稳定在0．001V，磁感式传感器因为是数字量输出，数据的跳动基本可以控制在20个nT。完全满足矿用测斜仪数据采集系统精度要求。本文用C＋＋语言编写的数据采集界面如图5所示。
6结语
数据采集范文8
关键词：主干光缆监测管理地理信息数据采集
1引言
国家广播电视总局在《关于促进智慧广电发展的指导意见》中指出“要推动‘云、网、端’资源要素相互融合和智能配置，构建高速、泛在、智慧、安全的新型综合广播电视传播覆盖体系”。有线网络的智慧化建设中，各地纷纷建设网络资源管理系统，以GIS为基础的广电网络资源管理系统主要是把地理信息和网络资源的数据资料、网络拓扑进行直观展现，针对各类资源的关联性展开深度探究。海量的资源数据，如管道、路由、链路、设备、端口、业务等，逐级逐层呈现在一张图上，便于使用者掌握网络资源分布状况，了解线路网络覆盖和联通情况。浙江省广电主干光缆网覆盖全省11个地市，线路总长1850km。为提升安播保障能力，浙江广联有线电视传输中心建设了主干光缆线路的监测管理系统，其包括光纤监测和资源管理两大部分，结合监测和资管两部分的数据进行线路运维的数智化应用。建设过程中，光缆的数据采集极为重要，如何既精准又便捷地采集、规范化数据维护更新是系统的基础问题。本文主要聚焦数据采集的需求分析及具体方案的制定，并介绍系统的实际应用情况。
2需求分析
监测管理系统的数据采集需求主要包括采集的数据类型和提升数据采集精准度。根据监测管理系统的功能设计要求，除了线路地理信息数据外，为了对主干光缆线路进行故障点的精准定位，还需要采集光缆的各类光学测试距离。线路资源的采集包括管网、杆路、接续盒等；数据类型包括经纬度、高度以及线路的光学测试距离。数据采集要求为数据精度高、采集仪器便携经济、采集操作步骤少。
2.1地理信息数据精度分析
几大全球定位系统的精度为米级，如北斗系统的北斗三号全球范围定位精度优于10m，实测定位精度均值为2.34m。而通过差分全球导航卫星系统（DGNSS）可以将精度提升到亚米级和厘米级。其中常用的RTK定位算法通过基准站的数据修正，能完成地球自转改正、相对论相应误差、对流层的误差改正。为了克服传统RTK技术的缺陷，网络RTK技术应运而生。网络RTK集成了GPS、Internet、无线通信和计算机网络管理等技术，通过组建连续运行参考站CORS系统，结合基线处理与观测值内插技术，实现流动站实时动态高精度相对定位。目前，市场中有支持RTK服务的北斗采集终端，其以年费形式提供高精度的位置服务，可满足监测系统的地理信息采集要求。比如，手持机G659内置了千寻位置服务，其基于北斗卫星系统（兼容GPS）基础定位数据，利用全国地基增强站及定位算法，以互联网的方式提供高可用差分播发服务，面向各类终端和应用系统，提供高精度定位服务及延展服务。
2.2光学数据精准度分析
工程上常用的光纤测试方法是采用光时域反射仪进行光学数据测试。光时域反射仪是利用光纤传输通道存在的瑞利散射和菲涅尔反射特性，通过监测瑞利散射的反向散射光的轨迹，进行光纤测试。为了确定光纤中的断裂点和缺陷的位置，根据光纤前端和远端反射回来的脉冲的时间差，可以计算出光纤长度L：其中，c为光速，n为光纤纤芯折射率，t为光脉冲在光纤中传输的来回时间。L的精度与光脉冲相关，空间分辨率Dzr即测试精度。具体如下：其中，Dts为脉冲持续时间，即OTDR中的脉宽。从上述分析可看出，光纤长度测试的精度与光纤折射率和测试脉宽相关，短脉冲将得到较好的分辨率和较小的动态范围。因此，要提高测试精度，一是测试中严格按照光纤出厂的折射率配置，二是在完成测试的前提下，尽可能用小脉宽，如日常对线路段进行测试，可选择80km的测试距离，平均时间为20s，测试脉宽为3μs，由此能得到较直观清晰的后向散射曲线，最小长度分辨率约为30.7m。
2.3数据精度提升算法
结合广电主干光缆运维实际需求，主干光缆监测管理系统中的数据算法以接续盒为点、以光缆段为线，结合精准GPS数据，赋予每个点、线独立的数据属性。此外，还充分考虑了光缆的盘留长度，盘留长度以点属性形式在系统数据库中添加；算法中还考虑到地图距离与实际光学距离的差异，系统显示数据与实际数据采用数学模型进行比例对应。只有充分考虑到以上几点的智能算法，才能很好地解决距离数据不精准不实用的问题。在日常使用中，系统对线路建设阶段的接续盒位置以及维护阶段的故障抢修点的测试距离进行记录和迭代，为故障定位提供依据，线路段距离信息能根据线路变动（包括改迁、抢修等造成线路距离变更）进行智能更新，使得光缆数据具备实时性、精准性和可用性。故障点位置数据的精度由光学测试误差和地理信息数据误差决定。
3数据采集方案
3.1地理信息元素采集
项目中采用G659终端进行光缆线路的地理信息数据采集，采集终端配置4G数据卡，预设采集特征库。采集终端支持导出多种格式数据文件，系统自带的APP也能采集数据。此外，监测管理系统能在数据导入时采用批处理工具，提高数据录入效率。
（1）采集特征库
采集终端支持预置特征库。我们预设了位置类别及接续属性两个属性，设置了电杆、手孔、人井、引上杆、电杆+接续盒、手孔+接续盒、人井+接续盒、其他等8种位置类别，基本涵盖了现场采集的类型；在接续属性中设置了接续盒、分支盒等6种类别。例如，现场采集某个电杆数据，位置类别为“电杆”，接续属性为“无”，再选采集按钮，即可自动完成。
（2）采集数据格式
采集完成之后，可以导出数据文件，监测管理系统再导入文件，根据采集的数据自动完成资源数据的添加和关联关系的自动生成。系统支持多种文件格式，如KML、GPX、Excel等。其中，Excel格式包括名称、类型、经度和纬度。以上三种格式均为通过G659终端设备采集数据的导出数据文件。
（3）系统自带的采集工具
监测管理系统自带的APP采集工具也可以进行数据采集，采集的数据精度和使用APP的手机设备精度有关，一般在空旷、卫星信号足的位置采集精度高。通过APP软件采集的数据可以直接在监测系统中调取，不需要再进行数据文件导出和导入操作，从开始采集、提交、审批到数据生成的整个过程，通过软件系统管理，保证了数据的规范性和保密性。手机APP完成采集提交之后，直接调取采集数据进行审批加载，自动添加到系统中，进行下一步处理。APP采集界面如图1所示。
（4）批处理工具
将采集的数据上传到监测管理系统时，使用了批处理工具，减少了人工录入工作量。只需确定线路的头尾，系统就能按照短距的原则自动生成杆路或管井，并根据线杆或井的经纬度坐标计算出杆路、管道的长度。通过自动计算首尾两点之间管井或线杆的路由连通关系，然后根据通道路由生成光缆线路，整条光缆线路自动根据接续盒的位置生成光纤直熔。批处理工具只需要导入采集的井、杆和接续盒的经纬度位置，系统就会自动生成管道、杆路，并且根据管道和杆路的路由关系生成光缆线路，再自动生成光缆中光纤熔接关系。数据导入界面如图2所示。采集终端的数据可批量导出，生成KML、GPX、Excel等文件。监测管理系统的批处理工具支持多种格式导入。只需选择数据的起点，就能根据地理信息数据，按照点位间距自动首尾相连，这样仅仅需要对极少特殊走向的路由进行简单修正即可。
3.2光学测试数据采集
监测管理系统需要采集各光缆段的距离，具体为各接续盒间的距离。我们提前在机房部署光纤监测设备，以OTDR模块+光开关实现实时测试。施工中从机房侧开始，边熔接边测试数据。此外，还可以采用便携OTDR仪器，现场测试间距。为提高光纤测试精度，我们用光纤监测设备配置参数时，折射率参考光缆出厂测试报告，n选择1.467，量程和脉宽选择Auto。这样，系统会在完成测试前提下，采用合理的小脉宽和量程，提高测试精度。
3.3数据采集策略
目前，系统在推广中存在一线员工配合度问题，这主要是因为存量资源的采集难度大，所以，我们的采集策略是在新建工程中边建设边采集，以降低推广阻力。监测管理系统一期与主干网宁波至温州的线路段改造同期实施。线路总长约380km，采集数据点位7000余个。我们设想的是利用几年时间来扩大使用范围，一线维护人员使用资源查询、故障定位等功能提升日常运维效率，相信这会对系统推广带来较好的促进作用。
4系统数据维护
监测管理系统的数据完成采集后，日常维护中的数据更新是系统能否长期有效使用的关键。我们制定了日常运维的数据维护办法和数据更新采集规则，主要是规范迁改、抢修必须采集的数据，及时在系统中更新。具体的数据包括OTDR测试方式、地理信息数据采集方式、各点位的具体数据等。在资源管理系统中通过迁改流程进行数据更新，保持数据的准确性。
5结语
通过对相关数据的高精度采集和维护，在实际运行中，监测管理系统的故障定位的精度和抢修时效都有了保证。宁波至温州的沿海段线路数据在监测管理系统中已运行1年多，实测数据精度在米级范围。实际使用中，乐清段曾发生光缆线路被误剪情况，因为前期主干光缆监测系统采集的数据较为准确，系统定位故障点在某电杆处，实际被剪点位误差小于5m，抢修人员凭借系统给出的位置第一时间赶赴现场，大大提高了抢修时效性，保障了传输安全。
参考文献
[1]王斌.以GIS为基础的广电网络资源管理系统设计[J].山东工业技术,2019(15):161-163.
