采集技术范文1
关键词：网络资源采集；反爬虫；Scrapy；Selenium
0引言
人类社会已经进入大数据时代，大数据深刻影响和改变着我们的工作和生活。随着互联网、移动互联网、社交网络等的飞速发展，产生了巨量的大数据，蕴含着前所未有的社会价值和商业价值。尤其是人工智能浪潮的兴起和深度学习技术的突破，不论在工程领域还是研究领域，数据已经成为必不可少的一部分。大数据成为21世纪最重要的经济资源之一，正如马云所说：未来最大的能源不是石油而是大数据。如何高效的获取数据，并对互联网上的非结构化数据进行清洗，得到结构化数据，以及对数据进行挖掘、分析的能力，成为企业提高未来竞争力的关键要素[1]。
1网络资源采集基本原理和基础原则
把互联网比作一张巨大的网，网上的每一个结点就相当于这张网上的一个节点，而采集的程序就相当于网上的一只小蜘蛛，根据定制的规则，批量的获取所需要的资源数据，就是这只“小蜘蛛”所要完成的工作。因此，网络资源采集又叫网络爬虫（Webcrawler）或网络蜘蛛（Webspider）。简单来说，网络资源采集就是获取网页并提取和保存信息的自动化程序，主要分为三步。
1.1获取网页
爬虫首先要做的就是获取网页，也就是获取网页的源代码。源代码里包含了网页的部分有用信息，所以将源代码获取之后，就可以从中间提取想要的信息。在Python中提供了许多库来实现源代码的获取，如urllib、requests等。
1.2提取信息
获取网页源代码之后，我们需要对网页源代码进行分析，从中提取想要的数据。由于网页的结构具有一定的规则，因此可以根据网页结点属性、CSS选择器或XPath选择器来提取网页信息，常用的库有BeautifulSoup、pyquery、lxml等。
1.3保存数据
提取信息后，我们需要将数据保存到某处以便后续使用。保存形式多种多样，可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL或MongoDB等。另外，网络资源自动采集需要满足以下原则：实时性原则，完整性原则，可靠性原则，准确性原则，易用性原则[2]。
2网络资源自动采集现阶段主要难点
互联网信息资源丰富，但是非常的分散，不同的网站结构不一、布局复杂、渲染方式多样，对于不同的网站，通常需要针对性的配置，才能获取需要的数据。此外，很多的网站还会专门采取一系列的“反爬”措施，比如：（1）使用验证码验证用户为非机器人；（2）设置登录验证，用户登录之后才能获取相关内容；（3）使用动态页面，目前很多的网页都会使用JavaScript来进行页面渲染，或者使用JS动态生成请求参数及JS混淆加密，防止网络爬虫的访问；（4）IP封锁，对于单位时间内访问次数过多的IP，许多网站会对IP进行封锁，无法访问；（5）字体混淆，部分网站实际页面展示的文字、数字与网页源代码中的值并不相同,造成爬虫采集虽能正常运行，但获得的数据与实际数据不符。面对不同的问题，就需要采用具有针对性的反制措施。爬虫与反爬虫技术就是在这种竞争中，逐步发展起来的[3-4]。
3网络资源采集现阶段难点的解决技术手段
本节总结了笔者在工作中进行网络资源采集时碰到的一些问题和解决问题的主要技术手段。
3.1请求头User-Agent验证
常见的简易反爬措施，网站通过验证User-Agent方式判断请求是否为正常浏览器行为，如果发现非法UA，则返回错误响应。突破方法：为请求头添加浏览器的User-Agent字符串即可，在大规模采集过程中可以使用UA池或调用fake_useragent模块自动动态生成User-Agent并添加。
3.2用户身份Cookie验证及JWT验证
多数网站会将登陆的用户信息以键值对的形式保存在Cookie中，服务器收到请求后首先验证用户身份，验证失败则返回错误响应。JWT身份验证形式与Cookie大致相同，区别在于身份信息为请求头特定的JWT字符串而非Cookie。突破方法：通过浏览器登陆后，抓包分析寻找登录后的Cookie或JWT字符串，在爬虫运行过程中，在请求中添加对应Cookie或请求头添加对应字符串，即可获得正确响应。在使用Scrapy框架开发爬虫的过程中，可将Cookie及JWT的添加过程写入DownloaderMiddleware的process_request方法中，在Scrapy运行过程中通过中间件自动添加请求头信息，保证spider流程的可读性。
3.3动态页面爬取
目前很多的网站都会使用JavaScript，Ajax（异步JavaScript和XML）技术和动态HTML（dynamicHTML）技术进行页面渲染，生成动态页面，既可以使页面更加丰富，交互功能更强，还可以反爬虫。突破方法：一个有效的工具就是Selenium，Selenium是一个强大的网络数据采集工具，最初是为网站自动化测试而开发的，它可以让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。Selenium自己不带浏览器，因此需要与第三方浏览器结合使用，比如Firefox、Chrome、PhantomJS（如果使用Firefox，需要安装GeckoDriver驱动，如果使用Chrome，需要安装ChromeDriver驱动）。使用Selenium可以处理cookies、JavaScript、header等，模拟浏览器访问网页时进行的任何操作。另外，还可以使用Scrapy框架配合Splash服务进行JS动态生成和ajax网页的内容的采集，此方法可在Scrapy框架内完成动态内容采集，方便scrapyd进行整个爬虫项目的任务调度，更加适合大规模采集项目。Scrapy是一个用Python实现的为了爬取网站数据、提取结构性数据的应用框架。Scrapy使用Twisted异步网络库来处理网络通讯。该框架集成可高度扩展的5大组件以及封装完善的中间件模块，可以高效（爬取效率和开发效率）且高度定制采集需求来完成网站数据爬取任务。Splash是一个Javascript渲染服务。它是一个实现了HTTPAPI的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。在docker中下载并安装Splash镜像后，启动Splash服务，python安装scrapy_splash。在Scrapy项目中添加Splash服务地址，下载器中间件DOWNLOADER_MIDDLEWARE中添加Scrapy_splash相应中间件后，即可在scrapy框架中使用SplashRequest请求方式通过splash服务获得动态渲染后的网页响应内容[5-6]。
3.4JS动态生成请求参数及JS混淆加密
在采集过程中，会遇到请求中出现了动态参数的情况，这类参数一般由网站中的JavaScript代码生成并添加到关键的请求中，分析对应的JS文件，发现JS被混淆加密，可读性极低。这种反爬措施也变得愈发常见，简单的爬虫逻辑被轻易拒之门外。突破方法：分析点击事件或在控制点为JS打断点的方式定位生成加密参数的JS代码位置，找到生成参数的JS代码后，可在反混淆网站中尝试反混淆清洗，如果成功，可得到正常可读的JS代码，此时可在爬虫程序中仿写整个参数生成逻辑获得参数；如不能反混淆成功或加密逻辑过于繁密，可尝试使用PyExecJS模块直接在python环境中执行该段JS代码，也可获得加密后的参数，突破反爬限制。
3.5字体混淆
在一些网站中，实际页面展示的文字、数字与网页源代码中的值并不相同,造成爬虫采集虽能正常运行，但获得的数据与实际数据不符，这是典型的字体混淆反爬特点。此类反爬措施通过动态下载ttf、woff、woff2等经过混淆加密的字体文件生成网页源代码。突破方法：首先抓包分析请求的响应过程，获取每次请求后的字体下载url，在爬虫程序中对应获得字体文件的响应，利用python第三方模块TTFont解析字体文件响应数据，获得混淆后的字体unicode码与字体文件中name的映射关系，在利用获得的name值与字体中带有的或根据字体文件排序归纳的f_map获得unicode与实际正确字符的对应关系。
3.6IP封锁
很多网站为了防止网络攻击和恶意爬虫，通常会采用IP访问限制措施，对单位时间内访问量过大的IP地址，会进行封锁限制访问，导致采集系统无法正常访问指定页面。突破方法：针对这种问题，通常会采用IP的方法，为了采集效率和成功率，需要购买IP，然后维护一个IP池，将所有的IP放在一个池子里面，每次访问之前获取一个IP，如果IP失效，则丢弃然后重新获取，IP池还需要实现自动获取新的IP的功能和删除失效IP的功能，以支撑高效的网络采集任务。
4结语
随着互联网与移动互联网的发展，网络信息爆炸式增长，不论是企业还是个人，都越来越需要网络资源自动采集技术的支持。同时，各种新的“反爬虫”策略也是层出不穷，对于网络资源采集系统的要求也越来越高。对企业来说，拥有一套比较优良的网络资源采集系统，可以帮助企业在资源采集、整合方面节约大量的人力与资金。在当前人工智能和大数据飞速发展的时代，网络资源采集技术的研究与开发，也关系到未来国家、企业的综合实力。总之，网络资源自动采集技术需求巨大，前景广阔。
参考文献
[1]韩群鑫.网络信息资源采集研究[J].农业网络信息,2007(04):63-66.
[2]刘水.网络信息采集及数据分析结果可视化的研究与实现[D].西安电子科技大学,2013.
[3]吴海燕.互联网信息采集系统的设计与实现[D].中国人民大学,2012.
[4]朱志华,张帆.网络信息资源整合的现状研究[C]//中国医学信息教育25周年暨全国医学信息教育可持续发展学术研讨会,2010.
[5]周瑜智,刘展鸣,王博,等.关于网络信息自动采集技术的难点及其解决办法的研究[J].科技传播,2013(6):204-205.
采集技术范文2
关键词：智能化；数字化；信息化；物联网；大数据
1引言
为响应国家两化融合“以信息化带动工业化、以工业化促进信息化，走新型工业化道路”的号召，进一步提高采油系统数字化和自动化应用力度[1-5]。长庆油田率先部署，与中科院合作进行作业区采油智能化系统的开发与试验。采油智能化系统是将每一口油井，每一个井场，每一个工作站的设备用数字化技术合为一体，通过互联网、物联网技术物物互联，整合应用硬件和软件，完成实时采集、上传、分析和优化，实现“井筒热洗智能清蜡提效果，抽油机运行平稳节能提效益，井筒抽汲参数优化提效率”的目标，实现以作业区为基础网络平台的数字化运行和数字化监管。
2现状分析
采油厂拥有较成熟的油井实时数据采集系统，井场采集的数据采用无线传输，数据汇集后通过光缆传输到站控。现在的采油作业区SCADA系统总体架构如图1所示。采油厂拥有较成熟的油井基础数据，对油井深度，油井泵效，采油的地质情况、机站、配水间等数据都有所统计。采油厂当前对抽油机的效率，油井产量效率及油井的结蜡情况都有一定的研究，只是在对历史数据的利用方面有所欠缺，在对数据进行分析时的基础数据利用有待增强。
3解决方案
为作业区提供数字化操控平台，逐步实现智能化作业和精细化管理，提高整个系统的生产效率和经济效益，数字化平台不仅是全面的展示采油生产中的各个节点的情况，更重要的是通过对当前数据的分析，达到优化系统，提高整体效率的目的。对于已经进入平台的数据，通过数据平台接口直接访问，对于尚未进入平台的数据，根据条件逐步纳入数据平台。数据不仅从油田数据库读取，还将从联合站，配注站，计量间和采油平台上实时读取。图2为数据平台采集数据示意图。数字化平台搭建的基本原则，是在当前的数据基础上，最大限度的利用已有的数据（包括油井、配注站、计量间、联合站等），针对油井结蜡，抽油机运行效率，井筒抽汲平衡，测井等数据，从纵向和横向两个方向进行深度分析。（1）纵向分析，是对每一种数据，都参考足够时间的历史数据，通过历史数据的变化来推算未来的可能性。（2）横向分析，是对油井所能涉及的数据，特别是地质和测井数据，都纳入数据分析中来，从而让得出的结果更全面准确。数字化平台的搭建，是在当前油田的数字化基础上，进行优化。
4系统功能
（1）数据仓库。抽油机、注水站、计量间等实时数据接入后保存，查看的界面；清蜡机作业数据采集后保存、查看的界面。（2）设备管理。系统中的抽油机、清蜡机、注水站等设备的信息维护。（3）清蜡机生产运行。实现了清蜡机实时工况采集，对清蜡结果的智能评分。此模块分三个子模块功能，①当前清蜡情况显示，包含清蜡机参数、油井参数等多维度实时数据。②热洗智能清蜡，根据实时清蜡机和抽油机的参数，实时判断清蜡作业的效果，必要时远程调整清蜡机作业模式或参数，达到最优的清蜡效率。③清洗结果智能评分，对比清蜡前后抽油的功图以及产量数据，建立评分算法模型，得出每次清蜡的结果评分。（4）预防性维护。实现了对抽油机清蜡的预防性维护。根据结蜡情况和洗井数据，生成油井结蜡曲线，结合油井生产数据、产量数据和历史清蜡评分，建立预防性清蜡模型，当几个维度的触发值满足清蜡需求值时，则生成清蜡作业任务。（5）抽油机调参。实现了抽油机智能调参，调参过程有记录，调参结果可追溯，不断优化，当调参数据积累一定规模可以建立抽油机参数自动调节算法模型。本菜单模块有三个子模块：①结合井口SCADA实时数据平台中示功图、动液面、以及油井生产数据，并且对比同级其他高效率井口的参数，调节抽油机参数。②调参记录。③调参结果对比，调参前，调参后以及其他井口三者之间示功图和油井产量等数据对比，系统自动生成调参后一周、一月和一季度的数据对比报告，判断调参成果。（6）数据可视化。其他在SCADA系统中接入的生产运行数据，结合业务需求，建立时间维度（纵向）或多设备间（横向）的数据统计图，揭示对比关系和趋势走向。统计图大致有三种：趋势走势图、标准值对比图和预警区间图。
5关键技术
5.1成组的抽油机数字采集传输技术
此技术不但可实现高精度数字化控制，满足油井和抽油机的各种动态运动参数，而且可实现一机多台抽油机控制；引入恒扭矩电机和控制系统10～20套，并内置了各种传感技术，能及时准确将抽油机的运动参数采集、上传采油系统的数据平台上，实现数据分析、计算和应用，真正实现抽油机的智能化运行和监管。通过采集井口数据，并结合油井数据库中的井口回压、载荷、冲程、冲次等数据的读取，在抽油机及油井自动化监测的基础上，将示功图、动液面监测技术、油井生产动态测试有机结合，实现了工况在线调参和优化，提高油井工作效率。
5.2多参数清蜡时机及清蜡效果的分析技术
清蜡机上安装了各种数据采集传感器，实时数据采集并上传平台与油井抽油机数据相融合。物联网平台获取数据后，可根据多项数据的分析结蜡情况及洗井情况，生成油井的结蜡曲线，实时判断清蜡作业效果和智能化运行，同时发到操作平台上通知操作员，有必要时也可实施人工干涉，提高作业效率，使作业效果理想。
5.3计量间、配注站、联合站的数据采集与传输
计量间、配注站、联合站配备数据采集的，可设计接入平台系统的方案和程序，没有数据采集的，根据生产需要进行必要的数据采集设计、优化等方案设计和平台设计，并组织实验和数据优化。
5.4智能化的生产优化技术
通过采集日常的井口实时数据、计量间数据、配注站数据、联系站数据，对数据进行有效预处理，应用数字化平台提供的先进数据分析工具对数据进行分析，从而提前预报油气井计量间、配注站、联合站等不正常运行状态，并实施修正，系统故障时可提示操作者，作业区平台监控人员可根据诊断信息，及时调度现场操作员到井口、计量间、配注站、联合站进行有针对性的维护作业。同时，故障被跟踪并存入历史数据库，从而实现长期的维护优化。基于Web的报表和显示，可进行专家在线远程会诊。
5.5智能化的生产数据传输技术
（1）井场油气生产数据、计量站、配注站等实时数据通过接口的方式在作业区服务器端SCADA系统中收集。（2）清蜡机的运行参数和电机参数通过井口RTU通过2.4G无线通信模块与井场主RTU通讯，再利用专用通信信道与所属数字化管理单元的上位系统（作业区服务器）进行数据通信，上传生产运行数据，并接收控制指令。
6结语
采集技术范文3
数据自动化采集技术是建筑施工现场管理中的一种新信息技术。该技术的运用是跟踪定位项目对象，实时传输数据信息，并通过计算机处理分析数据信息，进而向现场监控人员传递施工现场的具体情况，从而对施工现场进行有效监控和管理。基于强化建筑施工现场管理的目标，本文从功能用途方面对数据自动化采集技术进行分类，再对数据自动化采集技术在建筑施工现场管理中的应用展开深入研究，希望对提高施工现场管理水平有一定的借鉴作用。
关键词:
自动化数据采集技术;施工现场管理;应用
0前言
一般而言，实时有效的施工现场数据信息收集对建筑工程管理有重要影响。传统的数据收集技术需要消耗大量的人力、财力、时间等，现场监控人员往往需要消耗近一半的时间来收集和处理数据信息，而且人工数据收集对工作人员有一定的经验要求。然而复杂繁琐的人工数据收集往往导致信息不及时或者数据误差较大等，造成决策失误、效率低下等问题。先进自动化技术和信息技术促使施工现场高效管理的实现。借助数据自动化采集技术来跟踪定位项目对象，并及时传输和处理数据信息，进而向现场监控人员传递施工现场的具体情况，从而对施工现场进行有效监控和管理。
1建筑施工现场自动化数据采集技术
施工现场信息收集的实时性、客观性、全面性对建筑工程的监控管理有重要作用。除此之外，建筑施工环节信息的收集为建筑工程的监控维护创建了系统的信息平台。
1.1自动识别技术
1．1．1条码技术
条码是许多间隔排列的竖条、空和相应字符构成的标签，包含一些特定信息。该技术产生于20世纪40年代末，现在已被广泛运用，比如大型购物中心、便利店等都借助其进行产品管理，是一种比较适用、经济的自动辨别技术。同时伴随手机、掌上电脑等移动设备的出现和发展，条码技术的运用越来越广泛。
1．1．2RFID技术
RFID技术，即无线射频辨别技术，借助射频扫描辨别客体对象和有关信息，彻底转变人工操作模式，适用于一些环境恶劣的施工现场。该技术优点表现为:可远程扫描数据信息;存储容量大;信息自动更新;环境适应性较强、种类多等。然而该技术尚处于发展初期，兼容性差、成本偏高，但在其未来发展过程中，此类问题都将迎刃而解。
1．1．3其他技术
除上述两种技术以外，我们平常还能接触到的自动辨别技术包括生物识别技术、语音识别技术等，因为其在建筑项目中运用较少而且运用范围小，此处不详细介绍。
1.2跟踪定位技术
1．2．1GPS—室外跟踪定位技术
所谓的GPS，即全球定位导航系统，可随时、准确地提供定位位置。该系统由地面控制、空间和使用者三部分构成，不需要借助任何感应器，通过卫星接收或发送信号，获取目标位置的多维定位数据。除此之外，不受环境影响，可全天工作。
1．2．2室内跟踪定位技术
上述GPS技术对于视线外的目标定位准确度偏低，且室内卫星消耗损失较大。比如对于隧道施工，GPS很难保证定位的准确性。而近距离无线通讯技术的出现，有效解决了GPS复杂应用问题，为建筑施工现场管理提供技术保障。
1.3图像采集技术
1．3．1视频技术
所谓的视频监控，即影像监控，借助摄像机录下现场情况，再经由传输媒介发送至远程监控系统，并且安装镜头转动辅助装备，全方位记录现场情况。该技术实现了影像和声音的同步，实时记录施工现场情况，降低工作人员管理压力，提高现场管理水平。
1．3．2激光扫描技术
激光扫描技术是不接触监测方式的其中一种，通过激光扫描获取的信息客观准确，直观展示了对象的自身特性和变化形式，因此激光扫描技术是监测空间数据信息的重要方式。
1.4感应监测技术
传感设备是指能感应测量对象同时转换为输出信号的装备。在如今信息技术快速发展的背景下，无线监测需求促使感应监测技术的产生。其借助传感设备各节点感应监测对象信息，每个节点一般包括小型CPU、电源、接口等部件，可共同监测输出温度、空气湿度等环境信息。
2自动化数据采集技术在施工现场管理中的应用
至今为止，国内建筑施工管理仍然采取人工数据采集技术，而该技术信息采集误差大、耗时长、成本高，而数据信息的不及时增加了工程管理人员的监控难度。尽管目前自动化数据采集技术尚处于发展初期，然而其具体运用范围也逐渐扩大，主要表现为以下几点:资源配置、生产率分析、质量管理、进度控制和安全监控。
2.1资源配置
针对建筑工程的施工环节，对人力、建材、设备设施等资源的最优配置是减少成本、安全监控的重中之重。自动化数据采集技术对施工现场资源配置的应用表现为:(1)建材计划、采购、存放、领用。目前关于施工现场建材管理的问题主要有材料分类统计杂乱无章;采购计划不完善;材料存放不规范;材料回收不符合规定等。而建材管理的有效性直接影响工作效率、建造成本，因此重视对建造材料的管理对施工现场监控有重要作用。(2)工作人员、建材、设备等的跟踪定位。施工现场信息采集的实时性直接关系到管理人员决策的有效性。针对施工现场的上述资源，可自动辨别对象并存储有关信息，同时保证对象所处位置和有关信息的可视化，有利于管理人员快速查找所需资料。对上述资源的跟踪定位某种程度减少了人力成本、提高了管理水平。
2.2生产率分析
通常来讲，建筑施工现场对生产率产生影响的因素包括周围环境、人员专业水平、材料管理、设备优良程度等。据有关数据表明，仅20%左右的信息由管理层传达至基层施工人员，所以沟通不足是生产率偏低的重要原因。对此，自动化数据采集技术对改善这种情况有重要作用。相比传统人工采集，该技术提高了设备查找速度;减少了对工作人员的依赖程度;加强了材料管理水平;基于智能算法可快速发现导致生产率降低的原因。
2.3质量管理
据有关数据分析，发现影响建筑质量的主要原因是人为因素，例如工作人员的专业水准和管理水平等，同时还可能受到建材和系统的影响。自动化数据采集技术在质量管理方面的应用有:打桩时在底部安装RFID标签，据此判断打桩深度;对于各类建材，可将尺寸、规格、类别等存储在系统数据库中，保证材料的合理运用;构建完工3D模型，检测建筑物的误差和不足等。除此之外，由传感设备构成的自动检测体系对建筑施工质量管理的作用也不容忽视，通过传感器各节点感应对象同时转换输出信息。
2.4进度控制
进度控制是建筑工程顺利竣工的主要影响元素之一。在施工进度偏离原计划时，经由有效的进度控制，采取有关的调整手段，来跟上原定施工计划。目前自动化数据采集技术在进度控制方面的最大应用是视觉检测系统，即定时检测对象了解建筑工程进度。对于该系统，使用者可直接登录查询，现场监督人员可查看现场施工影响，并通过网络进行沟通交流，控制现场施工进度。
2.5安全监控
事实上，由于工作人员专业水平低、沟通交流不足、施工不规范、安全监控系统不完善，极易引发施工现场安全事故。目前加强施工现场安全监控的方式主要有两点:第一，通过培训、激励等强化施工人员的安全观念;第二，建造临时保护设施或监督施工人员配单防护装备。然而以上两种方式难以动态监控施工现场安全。因此，跟踪定位技术的运用可随时了解工作人员有无不规范操作，同时发出警告提醒;自动辨别和定位技术的运用可定位工人所处位置，在其靠近危险区域时，及时警告阻止其进一步靠近;还可借助高准度传感设备检测升降机等运行状况，据收集的信息发出报警提示，自动控制一些危险操作的建造设备等，从而有效加强建筑施工现场的安全监控。
3结语
总的来讲，先进的自动化技术和信息技术的集成取代了传统人工技术，促使施工现场高效管理目标的实现。数据自动化采集技术在建筑施工现场管理中的应用，符合新时代的可持续发展理念，提升建筑公司资源利用率;减少建筑成本费用;加强施工现场管理水准;避免安全事故的发生。由此可见，数据自动化采集技术具有自动辨别、定位跟踪、实时传输等功能，在建筑施工现场管理中的运用有广阔的发展前景。
作者：邓卉 单位：河南四建股份有限公司
参考文献
［1］杨生虎．条形码技术在ERP系统中的应用［J］．石油石化物资采购，2015(02)．
［2］张超．基于无线射频识别技术的模具管理系统研究［J］．航空制造技术，2014(05)．
［3］纪晶晶．ABC分类分析法在施工材料管理中的应用［J］．建设科技，2014(Z1)．
［4］唐任仲，胡罗克，周邦，白翱．基于无线射频识别技术的车间在制品物流状态分析［J］．计算机集成制造系统，2014(01)．
［5］金厚兵．基于wifi定位的仓储物料管理系统研制［J］．电脑知识与技术，2013(07)．
［6］张洁，郭彦臣，赵萌，王鹏．浅谈信息化系统下的物料管理［J］．河北企业，2013(02)．
［7］马智亮，张东东，青舟，刘喆，杨之恬．基于移动终端和既有信息系统的地铁工程施工现场物料管理系统［J］．施工技术，2012(16)．
［8］蒋尚亭，金毅仁．条形码技术原理及在大型超市管理中的应用［J］．安徽电子信息职业技术学院学报，2012(01)．
［9］江帆．基于BIM和RFID技术的建设项目安全管理研究［D］．哈尔滨工业大学，2014．
采集技术范文4
用电信息采集系统主要是是将小区的用户的用电信息进行收集，然后进行处理以及实施监控。可以有效的完善用电信息采集的系统平台，可以达到一个全自动化的目标，满足SG186的信息化深化的应用要求。用电信息采集系统通信构建主要有两个层次。第一个是远程通信：主站系统与集中器间的通信；第二层次是本地通信：集中器和表计之间的通信。在用电信息采集系统中，因为采集过程比较复杂，以及采集数据很大，使得采集工作比较困难。同时，因为集中器和用电信息采集系统进行通信的时候的系统容量比较大，所以这都要求光纤通信来进行支持。
二、EPON通信技术
EPON通信技术，是一种新兴的宽带接入技术，全称以太网无源光网络（EthernetPassiveOpticalNetwork，EPON），在物理层采用无源光纤网络（PassiveOpticalNetwork，PON）技术，在链路层使用以太网协议，最后通过利用PON的拓扑结构实现以太网的接入。所以EPON技术具有两个方面的优点，以太网技术以及PON技术，具有宽带速度高、扩展性强、兼容性好等系列的特点。EPON采用的是一点到多点的结构，所以在具体操作中拓扑结构比较灵活，可以组成数形、星形以及总线形等结构。
三、EPON通信技术在用电信息采集系统中的应用
1、需要考虑的问题。
（1）分光必须要综合考虑到ONU到OLT的距离，以及在传输中会发生的损耗，所以对光分配网络进行专门的设计。为了使得PON网络能够得到最大的覆盖范围。（2）当建成以后，如果新增节点，需要重新计算网络中的ONU关系以及分光器。
2、用电信息采集典型案例分析。
（1）电力载波集合EPON通信技术。这种方式主要是采用光纤通信技术，可以有效的利用载波的特点，并且还能够避免无线公网具有的局限性，这就提高了上行信道的稳定性。然后将每块用户的电表信息采集起来发送到集中器，通过电力载波的方式；电表的信息汇总主要是通过集中器汇总，最后将信息传输到主战主要是利用光纤通信。这种方式，随着配电大规模建设，可以极大的提高用电信息采集的效率以及投资成本。（2）采用EPON通信集合集中器技术。这种方式采集电表信息主要是是利用EPON技术，然后通过ONU中的RS485实现的。在这个过程中ONU主要是负责通过RS485采集电表信息，然后将其传输到集中器。RS485主要是负责信号的转换，将转换后的以太网数据汇总到集中器上。这种方式对于集中器的要求相对的比较高，目前的生产厂家的涉笔也只能支持单个以太网的上传，所以需要对集中器的硬件进行升级以及改造。（3）采用EPON通信技术。这种方式是利用ONU设备的RS485接口实现本地电表连接通信以及远端电表的通信，是目前运用最高效的一种电表信息采集方式。这种方式不需要集中器的参与，与传统的抄表方式很不同。目前RS485可以连接32个电表，每台ONU可以有4个接口，所以最后1个0NU可以完成128个电表的数据采集。
四、讨论
采集技术范文5
可控震源高效采集技术
目前，国内可控震源高效采集技术主要有拆分振次技术、交替扫描技术和滑动扫描技术，这些技术已在国内油气勘探中得到普遍应用。
1.拆分振次技术
以往可控震源施工中，多采用4台8～12次振动，生产效率很低。根据叠加原理可知，不同路径共反射点的水平叠加（多次覆盖）效果优于相同路径多次振动的垂直叠加，根据近年来的生产实践和试验，笔者认识到振动次数对资料品质影响很小，而震源组合台数影响较大。在此认识和试验的基础上，提出了可控震源“拆分振次”的概念，即将一个炮点的多次振动拆分成多个炮点的一次振动（图1），同时适当增加震源组合台数，拆分后面元成倍缩小，炮点密度成倍增加，而激发成本并未增加，甚至还有所降低。这样，就较好地解决了方法和成本之间的矛盾。该技术2005年首次应用到了TH盆地油田开发地震项目中。
2.交替扫描技术
在常规可控震源施工中，当震源从一个点搬到下一个点期间，仪器就要等待，如果区内障碍物多，震源搬迁时间长，仪器等待的时间会更长，这样将大大降低施工效率。为此，笔者首次提出并应用了两套震源交替扫描的施工方法。交替扫描是指使用两组或多组震源交替作业，一组震源扫描时，另一组震源移动搬点，待第一组扫描记录结束后，第二组震源已经到位并开始扫描，这样就实现了仪器不间断记录，从而缩短了由于震源搬点带来的生产间隙停歇，大大地提高了生产效率。
3.拆分振次和交替扫描联合应用技术
拆分振次技术的应用大大降低了单炮的扫描时间，而震源搬点时间对施工效率的影响就凸显出来。为此，在拆分振次和交替扫描两项成熟技术的基础上，笔者把它们有机结合起来，成功地应用到勘探生产中，生产效率又上了一个新台阶，实现了平均日效678炮、最高日效1407炮的高效生产。2007年以后，该技术在油气勘探项目中得到推广应用。这两项技术的结合应用，填补了国内大吨位可控震源高效采集的技术空白，使国内可控震源施工效率取得了突破性进展，生产效率大幅提高。
4.滑动扫描技术
滑动扫描是一种更高效的可控震源采集技术，即使用多组可控震源同时进行作业，相邻两次震动时间间隔（滑动时间）原则上大于地震记录长度即可，与交替扫描相比，相邻的两次振动（扫描），突破了第二次扫描必须等第一次扫描记录结束才能开始的限制，压缩了相邻两次扫描的间隔时间，可成倍地提高生产效率，图2是滑动扫描原理及记录分割示意图。在滑动作业中，相邻两次的扫描间隔（滑动时间）一般较短，两次扫描之间存在重叠，产生相互干扰，即谐波干扰[67]。对滑动扫描而言，谐波干扰是客观存在的，但通过设计合理的扫描长度和滑动时间可以减弱谐波干扰。在一定的扫描长度下，滑动时间越长，谐波干扰越弱，但生产效率越低，当滑动时间大到扫描时间和听时间之和时，谐波干扰消失，这时就变成了交替扫描。图3是现场对比的不同滑动时间（6，8，10，14s）的相关记录，图4是与之对应的时频图。从图3可知，干扰主要来自相邻炮的二阶谐波，随着滑动时间的增加，谐波干扰逐渐减弱，在滑动时间6s的记录上，谐波干扰最强；在滑动时间8s的记录上，谐波干扰仍然很强；而在滑动时间10s的记录上，谐波干扰相对较弱，只是干扰到近道排列深层位置，从时频图上看（图4b），基波已经避开二次谐波干扰；滑动时间14s时，已经等于扫描长度，地震记录上谐波干扰很弱，只有近道震源机械干扰。综合效率和干扰水平，滑动时间10s在减弱谐波干扰和提高生产效率方面都是可以接受的。2011年，笔者采用全方位、高密度三维观测系统，综合应用上述可控震源高效采集技术，在国内首次实施了可控震源滑动扫描现场试验，生产效率显著提升，在80h时间内完成15288炮，平均日效3822炮，最高日效4560炮，生产效率是交替扫描的6～7倍。由于施工效率大幅提升，激发成本降低，全方位、高密度三维勘探技术具备了推广应用的条件。在2012年TH盆地SKS三维项目中，应用该技术，在国内首次实现了全方位、高密度、高覆盖（800次覆盖）三维勘探技术的工业化生产。该项目平均时效达到了4239炮，创造了国内可控震源的最高生产记录。
5.基于高覆盖次数的拆分台次技术
覆盖次数是提高资料品质的最有效方法之一，可控震源拆分振次后，适当增加了震源的组合台数来确保原始单炮品质。因此，拆分振次和滑动扫描联合应用后，要占用大量的震源设备，给生产组织和成本带来巨大压力。试验表明，多台震源组合激发较2台或单台震源激发的原始单炮信噪比有较大的提高，但并没有本质上的区别。剖面信噪比不仅受原始单炮品质影响，还与覆盖次数、干扰强度等因素有关。通过提高覆盖次数能够弥补原始单炮品质上的不足，并且提高覆盖次数也会在压制干扰和改善三维面元属性等方面带来更大优势，因此在大幅提高覆盖次数的基础上降低震源组合台数或采用单台震源激发，剖面品质也许会有所提高。根据这一认识，笔者提出了可控震源拆分台次概念，即将一个炮点由多台震源组合激发拆分成1台激发或2台组合激发，该技术在滑动扫描现场试验项目中进行了应用，试验中采用了1台1次14s扫描长度等弱化的震源参数，虽然原始单炮品质较差，但由于应用了更高的覆盖次数（900次），剖面信噪比和分辨率却明显提高，解决地质问题的能力远远优于常规方法获得的剖面，如图5所示。通过“拆分台次”技术的应用，在不增加震源设备的情况下，通过减少每套震源组合台数，增加了滑动扫描的组数，进一步提高了生产效率，配合高覆盖次数三维观测系统，既提高了资料品质，又降低了野外采集成本。#p#分页标题#e#
6.可控震源谐振干扰压制技术
可控震源激发产生的谐振干扰是影响资料品质的一个重要因素，在近几年的勘探实践中，探索了一套避开或减弱谐振干扰的技术措施。（1）合理选择扫描长度：谐振干扰出现的时间与扫描长度呈线性关系，在谐振干扰发育的地区，增加扫描长度是避开谐振干扰的有效方法之一。根据这一认识，笔者建立了不同地区扫描长度和谐振干扰时间关系图版，根据该图版，在不同区域合理设计震源的扫描长度，使目的层反射有效避开谐振干扰的范围。（2）优选扫描方式：在多种可控震源扫描方式中，通过试验对比分析，线性升频扫描是压制谐振干扰有效的扫描方式之一。在其他扫描参数相同的条件下，与线性降频扫描相比，线性升频谐振干扰向后延迟，同时干扰范围也明显缩小。（3）基于勘探目标的扫描频率优化：在线性升频扫描方式中，降低终止频率可以延迟谐振干扰的到达时间。在勘探目标有效频带内适当降低可控震源终止扫描频率，对延迟谐振干扰有明显的压制效果。通过上述方法的应用，目的层有效地避开了谐振干扰，提高了剖面信噪比，如图6所示，谐振干扰均出现在3s以下的非目的层区域。
应用效果
1.生产效率大幅提高
通过以上可控震源高效采集技术的应用，生产效率大幅提高。从TH盆地2005年以来所有可控震源施工的三维项目平均日效统计表（表1）可以看出，可控震源施工方法的每一次进步，都会带来不同程度的效率提高，特别是滑动扫描技术的应用，生产效率大幅提高，为高密度、高覆盖三维勘探技术应用提供了技术和经济支持。
2.观测系统得到充分优化
可控震源高效采集技术的发展与应用，大大降低了地震勘探中的激发费用，为致密砂岩气藏目标勘探中的三维观测系统优化提供了广阔的空间。表2是TH盆地不同阶段可控震源施工方法与观测系统变化一览表。从表中可以看出，可控震源施工方法的每一次进步，观测系统都得到较大优化，随着观测系统的优化，从方位角宽度、横向覆盖次数、面元大小、面元内炮检距分布的均匀性以及叠前时间偏移响应等方面均有很大提高，这对改善资料品质和偏移成像效果都有重要意义。如在2005年QL油田开发三维项目中，通过可控震源拆分振次技术的应用，实现了小面元、常规覆盖次数观测系统的应用；在2012年SL评价三维项目中，通过滑动扫描技术的应用，实现了高密度、高覆盖、宽方位三维勘探。因此，可控震源高效采集技术的应用为观测系统优化提供了广阔的空间。
3.资料品质明显提升
可控震源高效采集技术的应用，特别是滑动扫描技术应用以来，高密度三维地震勘探技术也得到了大范围的推广应用，使得资料品质有了显著提高。图7至图9展示了TH油田致密砂岩油气藏勘探的效果实例。从图7可以看出，不仅剖面上中浅层信噪比明显提高，同相轴连续性明显增强，同时深层信噪比也有较大提高，特别是煤下和层间弱反射层的信噪比提高明显，煤下砂层尖灭点位置清晰可靠；从图8所示的时间切片看，前者较后者能量更强，构造形态更加清晰，不同方位时间切片上的构造细节有明显差异；从图9所示的裂缝密度检测图上看，前者对裂缝密度边界刻画更加清晰。因此，以可控震源高效采集技术为基础的高密度三维勘探技术为致密砂岩气藏目标勘探提供了高品质的地震资料。
结语
采集技术范文6
［关键词］网络视听节目；主题爬虫；广度优先搜索；多进程调度
近十年，网络视听媒体发展迅速，视听节目传播数量呈爆发式增长，并呈现数据更新频繁、内容丰富多样等特点。网络视听媒体平台在提供丰富多样的节目的同时，也为一些“丑、色、怪、假、俗、赌”等各类违法违规信息提供了传播渠道，损害了网络视听媒体的影响力和公信力，助长了社会不良风气。因此，建立智能化的网络视听节目监管系统，推动监管系统创新发展，在海量数据信息中快速、准确地提取出视听节目，及时发现和解决各类违法违规问题，对构建风清气正的网络视听环境具有积极意义。目前，大多数网络视听节目监管系统主要通过定制模板爬虫程序的方式来采集目标网站数据信息，此类模式的爬虫程序需要人工归纳和提取目标网站 Web页面中视听节目的所属板块、上传者、下载地址等信息来作为该网站爬虫程序的模板。其优点是采集数据准确率高，但若网站发生改版，模板程序匹配不到对应的属性信息，则会导致无法抓取到网站数据，这就需要技术员重新修改爬虫程序模板，才能采集到所需数据。此类定制模板爬虫程序根据特定网站属性而制作，因此不适用于其他网站数据信息的采集，其扩展性和通用性较差。文章研究通用型模板主题爬虫程序，使其普遍适用于网络视听节目服务网站的视听节目数据采集，并为构建智能化网络视听监管系统提供具有参考意义的案例。
一、通用型模板主题爬虫程序的实现
主题爬虫程序是一个自动提取与主题信息相关网页的搜索程序。其具有三个方面的核心技术问题，一是设定采集数据目标的描述或定义；二是网页数据信息的过滤与分析；三是网站 URL 的遍历策略。文章讨论的通用型模板主题爬虫程序预设置主题相关信息为视听节目特征元素，采用文字密度页面分析技术，提取出与主题相关的视听节目链接，而网站遍历策略则以广度优先搜索策略与“海捞”算法相结合的方式来采集目标数据信息。
（一）视听节日特征元素
在网络视听节目服务网站中，不同的开发者虽然在采用技术及代码方面存在一定的差异，但是也会遵循统一的技术规范。文章在对大量 Web 页面传播视听节目的代码进行分析研究的基础上，经由高层次抽象提取、归纳，提取出视听节目在 Web 页面代码中的共同特征信息，作为通用型模板主题爬虫程序的主题目标信息，此种主题爬虫程序能普遍适应大多数互联网视听节目服务网站的数据采集。在通常情况下，Web 页面中的视听节目编码的后缀名信息、 引用播放信息、播放器加载信息、特殊播放格式信息等，均遵循一定的规律特征，主要表现为以下几种情况。一是 Web 页面中视听节目的后缀名编码规则。在通常情况下，视听节目常用格式有 MPEG、AVI、ASF、MOV、WMV、3GP 等，这些文件格式在 Web 页面中的代码也以相应的视听文件后缀名格式出现，如 MPEG 文件格式视听节目在 Web 页面中编码的后缀名为“.mp4”，AVI 文件格式视听节目在 Web 页面中编码的后缀名为“.avi”等。二是 Web 页面中引用视听节目也具有一定的编码规则。为了提高网站数据资源的丰富性，有部分视听节目服务网站传播的视听节目除了本网站所属服务器的资源，还调用其他媒体平台的视频资源，如引用央视网、优酷、腾讯、爱奇艺等媒体平台所提供的视听节目源。这些引用站外平台节目源的网站在 Web 页面中会出现引用媒体平台的 URL 地址相关标识。 比如，某网站引用央视网网站平台的视听节目资源，则在该视听节目展示区域的 Web 页面编码中就会含有“cctv.com”等元素。三是 Web 页面中加载播放器信息的编码规则。互联网视听节目服务网站为用户提供视听节目服务，需要在 Web 页面代码中加载播放器相关信息。目前被广泛使用的播放器的类型主要分为专用播放器、流媒体、flash、现代播放器等。流媒体是目前网络平台较为流行的视听媒体传播格式，其常见的格式有 M3U8、RA、RM、SWF 等。其传播方式是把视听节目压缩后，按规则将视听节目拆分成多个小片段，以视频流（视频片段）的方式发送至用户端，当特定播放器接收到视频流（视频片段）后，用户即可边播边看。此外，有部分网站也通过调用专用播放器的形式为用户提供视听节目在线观看服务，例如调用爱奇艺、优酷、腾讯、哔哩哔哩等平台研发的专用播放器。另外，也有部分网站采取调用 player 等通用播放器的方式为访问用户提供视听节目在线观看服务。在 Web 页面中加载这些流媒体播放器、专用播放器等播放器信息，页面编码均呈现特定的编码规则，如含有“showPlayer”“player.video.qiyi.com”“flvplayer.swf”等播放器信息编码元素。四是特殊播放器在 Web 页面中的元素特征。除了上述情况，还有部分互联网视听节目服务网站以加载特殊播放器的方式提供视听节目，其页面编码也有相应的规律，如含有“aliyunlayer”“playerframe”等特征元素。通过分析上述几种视听节目特征元素发现，网络视听节目服务网站在为用户提供视听节目在线观看服务时，其 Web 页面中的编码元素均具有一定规则，根据这些编码元素的特征和规律，配置为主题爬虫程序的目标信息，制作成基于视听节目识别的通用型模板主题爬虫程序。此类爬虫程序作为网络视听节目监管系统中数据信息采集的重要手段，解决了原有定制模板爬虫程序通用性较差等问题。主题爬虫程序根据 Web页面中含有符合视听节目的元素特征的某一种或多种元素来判断页面含有视听节目的概率，网站页面的链接中含有符合视听特征的元素越多，则该链接为视听节目链接的概率就越大。在通常情况下，在程序调试及实际使用过程中，使用者根据网站采集数据的正确率，对主题爬虫程序主题相关度的阈值进行调整，以提升程序采集的准确率。
（二）爬虫主题信息相关度计算
文章讨论的通用型模板主题爬虫程序中的主题信息为视听节目特征元素，其在 Python 程序中用正则表达式来标识。在主题相关度的计算过程中，利用视听节目特征元素对某一个 URL 进行评分时，需要下载 URL指向的目标页面，再对其进行评分，并在配置文件中设置好主题相关度的阈值，如果主题相关度得分大于这个阈值，就进行下一步处理，否则就把这个 URL 对应的页面丢弃。笔者将从 Web 页面提取的视听节目特征元素个数 n作为空间向量的维数，设置特征元素的权重 ωi作为每一维度分量的大小，则该主题空间向量表示为对网页代码的空间向量建立进行统计，计算出视听节目特征元素出现的个次数，并求出对应的频率之比，将出现频度最高的特征元素作为基准，其频率用x1=1表示，通过频率比求出其他特征元素的频率 xi，则这个页面所对应的向量的每一维度分量为 xnωnϱ， 那么网页代码对应的空间向量表示为：用两个向量的余弦表示页面的主题相关度为：同时， 技术员设定一个阈值 m， 当 cos< ϱ大于等于 m 时，目标页面与主题相关度高，如果小于 m，则目标页面与主题相关度不高，可直接把该页面做丢弃处理。在实际应用过程中，技术员可以根据采集数据的正确率对 m 阈值进行微调。但是此种通用型模板主题爬虫程序在应用中的准确率无法达到100%，需要进一步结合人工智能模型进行训练，不断调整主题相关度的阈值，以提升主题爬虫程序的准确性。
（三）网站遍历策略
文章讨论的主题爬虫程序采用广度优先搜索策略与“海捞”算法相结合的方式来采集目标数据信息。网络爬虫的原理基本大同小异，主要包括广度优先搜索策略、深度优先搜索策略和最佳优先搜索策略等，其中广度优先搜索策略遍历网站，遍历方式类似于树的按层次进行搜索。假设网站所有顶点集合为图 G，其初始状态是“所有定点均未访问过”，在图 G 中任选一个顶点 Vi作为爬虫程序最初的出发点。则广度优先搜索遍历网站的基本思路为：先访问出发顶点 Vi，紧接着依次访问其邻接点 W1，W2，...，Wi，然后再依次访问与 W1，W2，...，W相邻接的所有未曾访问过的顶点。依次循环，直至网站中所有与初始出发点 Vi有相同路径的顶点均已访问为止，则完成整个网站的搜索遍历。广度优先搜索策略能较好结合主题爬虫程序对目标网站充分、快速、准确地进行数据信息采集。通用型模板主题爬虫程序的分析算法用“海捞”算法，其也叫 Fish-Search 方法，工作原理为：把主题爬虫程序比喻成海里的鱼群，把爬虫抓取主题相关的有效网页比喻成食物，把整个网站比喻成大海。当鱼群发现食物后，会繁殖后代，即为增加有效网页里的链接，对 Web 页面内容进行分析，将主题相关度高的页面链接加入待爬取队列，直到达到预先设定的网页层数才终止程序退出。因此，主题爬虫程序将“海捞”算法结合页面内容进行分析，以视听节目特征元素作为爬虫抓取主题相关的目标，完成目标页面中视听节目链接的采集。
二、爬虫工作流程
程序将需要采集的网站集合至待爬取网站队列，基于通用型主题爬虫程序根据设定数据采集规则对目标网站的 Web 页面数据信息进行搜索遍历，并下载相关网页信息。程序搜索目标网站信息的同时，提取页面中所有的URL，排重后存放至待爬取的URL集合队列。页面分析程序则对已下载于存储中的目标网页数据信息进行分析研判，识别出各个网站中含有视听节目的URL，并将相关页面中的视听节目标题、者、时间等信息一并存入数据库中。其采集流程分为五步，如图1所示。
三、多进程任务调度
基于网络视听节目分析的通用型模板主题爬虫程序在采集网站数据信息过程中，需要访问待爬取的目标网站，并分析 Web 页面的数据信息，下载与主题相关的目标页面。为了提高程序执行效率，本系统建立了多进程爬虫程序调度模块，该模块对主题爬虫的数据采集程序、数据下载程序、页面分析程序等进行整体统筹调度，根据各个资源池待分配的任务情况，及时、有效地调度各个程序协同分工合作，以达到各类进程同时并行执行的目标。多进程协同并行执行的模式，主要根据待抓取网站数量来分配同时执行进程的数量，进程的最大数量受服务器 CPU 内核限制，单核 CPU 的服务器只能同时执行1个进程，本系统采用的服务器为多核 CPU 服务器，最多可同时并行执行8个进程。其工作原理为：调度程序根据待采集的目标网站数量，分配对应的主题爬虫程序对不同的目标网站分别进行数据采集，主题爬虫程序把采集到的 Web 页面信息下载存入至存储器中，调度程序分别在等待队列中的页面分析程序对缓存中的页面数据进行分析研判，并返回识别到含有视听节目的 URL 信息。
四、结语
近年来，国家网信办持续在网络媒体平台开展系列“清朗”专项整治行动，推动网络空间健康有序发展。在此形势下，监管部门及网络媒体平台应不断创新理念、方式与模式，依托先进科学技术方法，通过人工智能等技术破解网络视听媒体平台监管过程中的各种难点和痛点，进一步加强监督管理，切实维护好网络用户的合法权益。面对日趋复杂的网络媒体环境，文章研究的通用型模板主题爬虫程序仍处于初级阶段，其在解决智能化网络视听节目监管过程中仍面临诸多问题，当下人工智能等技术快速发展，主题爬虫程序如何更好地结合机器学习、深度学习等先进技术进行更智能的训练、 学习， 建立更加智能化的采集模型，还需要进一步探究。
［参考文献］
［1］杨本栋 . 基于网页信息自动提取的分布式爬虫系统设计与实现［D］. 北京：北京邮电大学，2021.
［2］程光，吴桦，王会羽，等 . 僵尸网络检测技术［M］.南京：东南大学出版社，2014.
采集技术范文7
低压电力线载波通信技术是采用电力线通信的技术，以电力线为信号传输媒介实现信息的收集、处理和传递。它的优点主要体现在以下几个方面：（1）因为它不需要为通信建立实质上的线路，于是节约了电力通信的成本。（2）它自身的操作极其简单、方便。（3）它能更加充分地利用通信技术系统中的资源。虽然，低压电力线载波通信技术具有以上这些优点，但是它自身也存在着一些缺点。比如，当它自身处在一个条件比较差的环境中时，通信技术系统不能很安全地传送信息。因此，改善通信的环境，是目前唯一能够实现信息安全传送的办法。在当代的电力通信事业中，电力线载波通信技术又被分为了两种：第一种是基于宽带的电力线载波；第二种是基于窄带的电力线载波。而低压电力线载波通信技术采用的是第二种电力线载波通信技术。
2简析低压电力线载波通信技术在用户信息采集中的应用
2.1低压电力线载波通信技术的工作原理
低压电力线载波通信技术分为两个部分：一是对载波进行调解的通信部分；二是对载波进行路由选择的通信部分。
2.1.1对载波进行调解的通信部分
它的通信工作机制是：当开始进行信息传送时，将这些信息调解成一种特定的信号，这种信号通过电力线的传送路线，被准确地输送到接收方，最后又恢复成为原来的信息。在现代电力事业中，载波调解时所用到的技术主要是频率偏移控制技术、频段相位改变控制技术和直接扩展频率控制技术。
2.1.2对载波进行路由选择的通信部分
信息传送过程中，先是对已经收集到的信息进行合理的分析处理，以确保这些信息的可用性和真实性。当发现有的信息不具备真实性和可用性时，路由选择机制会将这些无效的信息传输到一个特定的位置，避免这些无效的信息占用有效信息的传送线路。在信息处理完成之后，有效的信息会沿着传送路线逐渐被传送出去。虽然，这种通信方式可以将无效的信息剔除出去，但是增加了路由器的工作量。而且，这种通信方式不支持电力线进行信息的动态转变。所以，这种通信方式在现代电力事业中很少使用。
2.2分析低压电力线载波通信技术的设计板块
低压电力线载波通信技术的板块分为五个部分，下面分别进行介绍。
（1）信号传送部分。将信号以某种特定的形式沿着电力线的传送路径发送到接收端。需要特别强调的是：在电力线开始传送之前，必须对这些需要传送的信号进行合理的处理，最后还要将一些无效的信号分离出去。
（2）过滤无效载波部分。在信号传送的过程中，要将一些没有效力的载波过滤出去。而这种没有效力的载波包括对信号造成干扰的无效载波和影响信号传送速度的无效载波。
（3）信号传送线路部分。这个部分的主要作用是将信号从发送端传送到接收端。
（4）对载波进行有效处理的部分。它的工作机制就是将信号调解成频段，或者是将频段还原成原来的数据信息。
（5）对路由器进行处理的部分。这个部分的作用是对路由器上收集到的信息进行有效的管理，还要对这些信息进行后期的维护。
2.3分析低压电力线载波通信技术对用电信息采集系统的影响
随着低压电力线载波通信技术的应用，用电信息采集系统发挥出了更大的作用。对于低压电力线载波通信技术对用电信息采集系统的影响，可以简单地归纳为以下几点。
（1）降低了用电信息采集系统的运行成本。
（2）促进了用电信息采集系统的进一步发展。
（3）减少了用电信息采集系统的电能消耗。
（4）使用电信息采集系统的操作变得更加的简单、方便。
（5）进一步改善了我国电力事业中用电信息采集系统的现状。
3结语
采集技术范文8
随着我国经济发展的需要，高素质人才的缺口越来越大，为此，强化教育教学，提高人员素质成为了社会发展必须要解决的一个重大问题。在教育重视程度不断强化的基础上，教育教学的理念和技术有了显著的发展，更多的先进技术在教育中得到了应用，教学资源的丰富化也在进一步实现。就目前的教学现状而言，积极进行教学资源的建设，一方面可以提升教育教学的广泛性，另一方面可以强化教学的深入性，所以利用现代化方式采集资源意义重大。网络技术和信息技术是现阶段利用的较为普遍的技术，此技术的突出优势是信息传递速度快，而且采集范围广，对于教学资源的建设有着重要的意义，所以本文就网络信息采集技术辅助教学资源建设进行研究分析，目的是积极探讨技术利用，从而建立起更加规模化和专业性的教学资源。
【关键词】
网络信息采集技术;辅助教学;资源建设
教学资源建设是现代教育教学的一项重要内容，强化资源建设不仅可以丰富教学内容，而且通过教学资源的共享，实现教育教学质量的整体提升。过去的教育资源采集，主要依靠的是渠道的力量，但是由于渠道建设的投入巨大，而且效果不显著，所以积极探讨其他教育资源建设采集方式意义重大。目前的社会，信息技术和网络技术应用广泛，网络资源更是层出不穷，所以积极利用信息网络技术，进行网络信息的采集，可以更好地帮助教学资源的采集，从而实现教学资源库的建设，进而帮助教学质量的提升。
一、利用网络信息采集技术辅助教学资源建设的客观性
(一)网络信息采集技术利用的必要性。
在目前的教育教学中，利用网络信息采集技术进行辅助教学资源的建设具有客观性，有限是因为此技术的利用十分的必要。过去的教学资源采集主要利用的是人工的力量，不仅资源获取的范围比较小，而且资源利用的共享率也比较低。目前，我国经济的发展对于教育的依靠越来越大，在这种环境下，实现教育教学质量和效果的提升，一方面要进行辅助资源教学的扩充，另一方面还要实现社会资源的共享，所以说积极利用网络信息采集技术十分的必要。
(二)网络信息采集技术利用的可能性。
网络信息采集技术利用的可能性主要是因为现阶段的社会发生了两点改变:一是信息技术和网络技术迅速发展并在社会生活中得到了普遍的应用，与之相关的设备在人们生活中的利用率有了明显的普及，换言之就是网络信息采集技术利用有了必要的客观基础。二是人们为了方便办公、生活和学习，计算机常识普遍提升，利用技术也有了明显的进步，所以网络信息采集技术的利用条件愈加成熟。在客观物质基础之上，主观应用条件的不断成熟，为网络信息采集技术的普遍化利用提供了可能。
二、利用网络信息采集技术辅助教学资源采集的意义
(一)可以实现教学资源的共享。
网络信息采集技术在辅助教学资源采集中具有重要的意义，利用此技术可以实现教学资源的共享。在过去，辅助教学资源的采集依靠人工化进行，采集到的资源也大都集中在固定的范围内被固定的区域人员所使用，所以资源的利用价值不高。现如今，利用网络信息采集技术进行辅助教学资源的采集，不仅实现了采集范围的扩大化，而且可以将采集到的资源录入到网络共享资源库当中，这样，只要通过网络就可以进行资源的利用。这种技术的利用大大提升了资源的交流，使得资源利用价值成倍提升。
(二)有助于课程的层次化适应。
利用网络信息采集技术进行辅助教学资源的采集，另一个突出的意义在于可以实现课程层次化的适应。因为我国的教育有不同的阶段划分，而不同阶段所利用的辅助教学资源的专业性也有差异。所以利用网络信息采集术可以在不同的阶段教学中，选用适合自己层次的教学资源，当然，利用丰富的教学资源，还可以进行教学深化。所以说网络信息采集技术对于课程的层次化适应非常的有效。
三、强化网络信息采集技术辅助教学资源采集的措施
(一)强化校园网络的建设。
要积极利用网络采集技术进行辅助教学资源的采集必然要借助网络的力量，所以需要对校园的网络进行强化。校园网络的强化主要从两个方面进行:一是效率化提升。效率化提升主要指利用更新设备、改换线路等措施使得校园网络的运行效率得到加速，这样，在进行网络信息采集的时候效率会更高。二是进行质量优化。质量优化重在校园网络的安全性建设。通过网络安全措施的进一步实施，使得校园网络的安全得到保障，那么其质量也会得到相应的提升。
(二)提高师生对于网络的认知和了解。
提高师生对于网络的认知和了解也是强化网络信息采集技术在辅助教学资源建设中的重要措施。辅助教学资源要想对教学产生更加显著的影响，不仅要实现资源的丰富化，更要完成资料的专业化。强化老师和学生对网络的认知和了解，可以积极利用老师和学生的力量在网络上进行教学资源的采集，通过不同个体的渠道差异，可以采集到更多具有丰富性的教学辅助资源，而且强化了网络认知之后，对于资源的筛选也会更加的到位，这样，辅助教学资源的专业性可以得到进一步提升。
(三)积极做好技术利用的相关培训。
积极做好技术利用的相关培训对于提升网络信息采集技术的应用效果强化也具有积极的意义。技术利用的相关培训主要包括两方面的内容:一是理论依据基础。通过这方面的培训，师生们对于网络信息采集技术的认知会有进一步的深化，对于利用过程中的问题认识也会有进一步的深入，这样，在分析问题和解决问题方面便会有所提升。二是相关技术的操作培训。通过操作培训的进行，技术利用的专业性会显著增强，解决问题的实践操作也会更加具有效果。
(四)重视资源的设计与连接。
重视资源的设计和连接也是强化网络信息采集技术应用的重要措施。此项工作主要从两方面进行:一是对收集到的辅助教学资源进行整体和分类，从而确定其具体的利用范围。二是将已经收集到的资源和与之相关的内容进行连接设计，从而实现资料查找和利用的便捷。简言之就是在辅助教学资源利用的过程中，通过科学的设计和连接使得资源的潜在利用范围发生扩大，这样，资源库原有的规模会得到进一步的扩充，其利用价值也会得到明显的提高。
四、结语
教学资源对于教学质量的提升意义重大，而目前的教学要想实现深入的增加和广度的扩展，需要对辅助教学资源进行扩展。网络信息采集技术在现实使用中具有较强的便捷性，而且由于渠道的多样化，信息资源的丰富性也比较强，所以在辅助教学资源的建设中，积极利用网络信息采集技术，可以实现辅助教学资源库的实时扩充，进而有效提升教学的质量。
作者：魏巍巍 单位：北京信息职业技术学院软件与信息工程学院
【参考文献】
［1］毛京丽，姬艳丽，高立．系统化、立体化网络教学资源建设研究与实践［J］．教育教学论坛，2012，1:201～202
［2］邵红万，陈新仁．信息技术与外语课程:从辅助到常态化的学科性融合［J］．外语电化教学，2012，6:34～41
［3］匡贵秋，冯立国．高职高专网上教学及其网上资源建设的现状研究［J］．中国远程教育，2011，10:28～35，95
［4］胡春安，南柄飞．基于信息技术的公共基础课辅助教学模式的研究———以江西理工大学为例［J］．江西理工大学学报，2011，6:84～86
