采集技术范例

摘要：人类已经进入大数据时代，大数据产生了巨大的社会价值和商业价值，如何高效地获取数据，已成为提高未来竞争力的关键要素。网络爬虫就是一种高效的信息采集利器，利用它可以快速、准确地采集我们想要的各种数据资源。但是随着互联网和Web技术的发展，各种反爬虫措施的使用，给网络资源采集带来了很多困难。因此，为了准确高效地采集到需要的数据，网络爬虫也采取了具有针对性的反制措施。本文介绍了网络信息自动采集技术相关的基础概念和原则，研究并归纳了网络信息自动采集技术的存在的主要难点和解决问题的主要技术手段。

关键词：网络资源采集；反爬虫；Scrapy；Selenium

0引言

人类社会已经进入大数据时代，大数据深刻影响和改变着我们的工作和生活。随着互联网、移动互联网、社交网络等的飞速发展，产生了巨量的大数据，蕴含着前所未有的社会价值和商业价值。尤其是人工智能浪潮的兴起和深度学习技术的突破，不论在工程领域还是研究领域，数据已经成为必不可少的一部分。大数据成为21世纪最重要的经济资源之一，正如马云所说：未来最大的能源不是石油而是大数据。如何高效的获取数据，并对互联网上的非结构化数据进行清洗，得到结构化数据，以及对数据进行挖掘、分析的能力，成为企业提高未来竞争力的关键要素[1]。

1网络资源采集基本原理和基础原则

把互联网比作一张巨大的网，网上的每一个结点就相当于这张网上的一个节点，而采集的程序就相当于网上的一只小蜘蛛，根据定制的规则，批量的获取所需要的资源数据，就是这只“小蜘蛛”所要完成的工作。因此，网络资源采集又叫网络爬虫（Webcrawler）或网络蜘蛛（Webspider）。简单来说，网络资源采集就是获取网页并提取和保存信息的自动化程序，主要分为三步。

1.1获取网页

一、用电信息采集系统

用电信息采集系统主要是是将小区的用户的用电信息进行收集，然后进行处理以及实施监控。可以有效的完善用电信息采集的系统平台，可以达到一个全自动化的目标，满足SG186的信息化深化的应用要求。用电信息采集系统通信构建主要有两个层次。第一个是远程通信：主站系统与集中器间的通信；第二层次是本地通信：集中器和表计之间的通信。在用电信息采集系统中，因为采集过程比较复杂，以及采集数据很大，使得采集工作比较困难。同时，因为集中器和用电信息采集系统进行通信的时候的系统容量比较大，所以这都要求光纤通信来进行支持。

二、EPON通信技术

EPON通信技术，是一种新兴的宽带接入技术，全称以太网无源光网络（EthernetPassiveOpticalNetwork，EPON），在物理层采用无源光纤网络（PassiveOpticalNetwork，PON）技术，在链路层使用以太网协议，最后通过利用PON的拓扑结构实现以太网的接入。所以EPON技术具有两个方面的优点，以太网技术以及PON技术，具有宽带速度高、扩展性强、兼容性好等系列的特点。EPON采用的是一点到多点的结构，所以在具体操作中拓扑结构比较灵活，可以组成数形、星形以及总线形等结构。

三、EPON通信技术在用电信息采集系统中的应用

1、需要考虑的问题。

（1）分光必须要综合考虑到ONU到OLT的距离，以及在传输中会发生的损耗，所以对光分配网络进行专门的设计。为了使得PON网络能够得到最大的覆盖范围。（2）当建成以后，如果新增节点，需要重新计算网络中的ONU关系以及分光器。

摘要:

数据自动化采集技术是建筑施工现场管理中的一种新信息技术。该技术的运用是跟踪定位项目对象，实时传输数据信息，并通过计算机处理分析数据信息，进而向现场监控人员传递施工现场的具体情况，从而对施工现场进行有效监控和管理。基于强化建筑施工现场管理的目标，本文从功能用途方面对数据自动化采集技术进行分类，再对数据自动化采集技术在建筑施工现场管理中的应用展开深入研究，希望对提高施工现场管理水平有一定的借鉴作用。

关键词:

自动化数据采集技术;施工现场管理;应用

0前言

一般而言，实时有效的施工现场数据信息收集对建筑工程管理有重要影响。传统的数据收集技术需要消耗大量的人力、财力、时间等，现场监控人员往往需要消耗近一半的时间来收集和处理数据信息，而且人工数据收集对工作人员有一定的经验要求。然而复杂繁琐的人工数据收集往往导致信息不及时或者数据误差较大等，造成决策失误、效率低下等问题。先进自动化技术和信息技术促使施工现场高效管理的实现。借助数据自动化采集技术来跟踪定位项目对象，并及时传输和处理数据信息，进而向现场监控人员传递施工现场的具体情况，从而对施工现场进行有效监控和管理。

1建筑施工现场自动化数据采集技术

在多年的勘探实践中，中国石油东方地球物理公司吐哈物探处通过大量的理论分析和现场试验，2005年和2006年在国内率先提出了可控震源拆分振次和交替扫描技术，在之后的几年中，发展并应用了拆分振次和交替扫描联合应用技术，2011年在国内又首次成功试验了滑动扫描技术，2012年利用KZ34重型震源和滑动扫描技术研究并应用了拆分台次技术。上述技术的应用，大大地降低了单炮激发成本，为高密度、高覆盖、宽方位三维地震勘探技术的应用提供了经济支撑。与此同时，也探索出了一套谐波压制和基于勘探目标的可控震源参数优化设计技术。这些技术的应用，大幅提高了生产效率，为观测系统优化提供了广阔的空间，使得高密度三维地震勘探技术得到工业化应用与推广，地震资料品质大幅提升，获得了良好的勘探成果。同时将这些技术应用到探区外的地震采集项目中，也见到了明显的效果。

可控震源高效采集技术

目前，国内可控震源高效采集技术主要有拆分振次技术、交替扫描技术和滑动扫描技术，这些技术已在国内油气勘探中得到普遍应用。

1.拆分振次技术

以往可控震源施工中，多采用4台8～12次振动，生产效率很低。根据叠加原理可知，不同路径共反射点的水平叠加（多次覆盖）效果优于相同路径多次振动的垂直叠加，根据近年来的生产实践和试验，笔者认识到振动次数对资料品质影响很小，而震源组合台数影响较大。在此认识和试验的基础上，提出了可控震源“拆分振次”的概念，即将一个炮点的多次振动拆分成多个炮点的一次振动（图1），同时适当增加震源组合台数，拆分后面元成倍缩小，炮点密度成倍增加，而激发成本并未增加，甚至还有所降低。这样，就较好地解决了方法和成本之间的矛盾。该技术2005年首次应用到了TH盆地油田开发地震项目中。

2.交替扫描技术

在常规可控震源施工中，当震源从一个点搬到下一个点期间，仪器就要等待，如果区内障碍物多，震源搬迁时间长，仪器等待的时间会更长，这样将大大降低施工效率。为此，笔者首次提出并应用了两套震源交替扫描的施工方法。交替扫描是指使用两组或多组震源交替作业，一组震源扫描时，另一组震源移动搬点，待第一组扫描记录结束后，第二组震源已经到位并开始扫描，这样就实现了仪器不间断记录，从而缩短了由于震源搬点带来的生产间隙停歇，大大地提高了生产效率。

【内容摘要】

随着我国经济发展的需要，高素质人才的缺口越来越大，为此，强化教育教学，提高人员素质成为了社会发展必须要解决的一个重大问题。在教育重视程度不断强化的基础上，教育教学的理念和技术有了显著的发展，更多的先进技术在教育中得到了应用，教学资源的丰富化也在进一步实现。就目前的教学现状而言，积极进行教学资源的建设，一方面可以提升教育教学的广泛性，另一方面可以强化教学的深入性，所以利用现代化方式采集资源意义重大。网络技术和信息技术是现阶段利用的较为普遍的技术，此技术的突出优势是信息传递速度快，而且采集范围广，对于教学资源的建设有着重要的意义，所以本文就网络信息采集技术辅助教学资源建设进行研究分析，目的是积极探讨技术利用，从而建立起更加规模化和专业性的教学资源。

【关键词】

网络信息采集技术;辅助教学;资源建设

教学资源建设是现代教育教学的一项重要内容，强化资源建设不仅可以丰富教学内容，而且通过教学资源的共享，实现教育教学质量的整体提升。过去的教育资源采集，主要依靠的是渠道的力量，但是由于渠道建设的投入巨大，而且效果不显著，所以积极探讨其他教育资源建设采集方式意义重大。目前的社会，信息技术和网络技术应用广泛，网络资源更是层出不穷，所以积极利用信息网络技术，进行网络信息的采集，可以更好地帮助教学资源的采集，从而实现教学资源库的建设，进而帮助教学质量的提升。

一、利用网络信息采集技术辅助教学资源建设的客观性

(一)网络信息采集技术利用的必要性。

摘要：把大数据、物联网、互联网、人工智能技术以及5G运用到数字化采油用中，大大提高采油的效率。基于智能化、数字化技术，分析油厂采油过程中的数字采集和传输技术应用，提高经济效益。

关键词：智能化；数字化；信息化；物联网；大数据

1引言

为响应国家两化融合“以信息化带动工业化、以工业化促进信息化，走新型工业化道路”的号召，进一步提高采油系统数字化和自动化应用力度[1-5]。长庆油田率先部署，与中科院合作进行作业区采油智能化系统的开发与试验。采油智能化系统是将每一口油井，每一个井场，每一个工作站的设备用数字化技术合为一体，通过互联网、物联网技术物物互联，整合应用硬件和软件，完成实时采集、上传、分析和优化，实现“井筒热洗智能清蜡提效果，抽油机运行平稳节能提效益，井筒抽汲参数优化提效率”的目标，实现以作业区为基础网络平台的数字化运行和数字化监管。

2现状分析

采油厂拥有较成熟的油井实时数据采集系统，井场采集的数据采用无线传输，数据汇集后通过光缆传输到站控。现在的采油作业区SCADA系统总体架构如图1所示。采油厂拥有较成熟的油井基础数据，对油井深度，油井泵效，采油的地质情况、机站、配水间等数据都有所统计。采油厂当前对抽油机的效率，油井产量效率及油井的结蜡情况都有一定的研究，只是在对历史数据的利用方面有所欠缺，在对数据进行分析时的基础数据利用有待增强。

3解决方案

1对低压电力线载波通信技术的分析

低压电力线载波通信技术是采用电力线通信的技术，以电力线为信号传输媒介实现信息的收集、处理和传递。它的优点主要体现在以下几个方面：（1）因为它不需要为通信建立实质上的线路，于是节约了电力通信的成本。（2）它自身的操作极其简单、方便。（3）它能更加充分地利用通信技术系统中的资源。虽然，低压电力线载波通信技术具有以上这些优点，但是它自身也存在着一些缺点。比如，当它自身处在一个条件比较差的环境中时，通信技术系统不能很安全地传送信息。因此，改善通信的环境，是目前唯一能够实现信息安全传送的办法。在当代的电力通信事业中，电力线载波通信技术又被分为了两种：第一种是基于宽带的电力线载波；第二种是基于窄带的电力线载波。而低压电力线载波通信技术采用的是第二种电力线载波通信技术。

2简析低压电力线载波通信技术在用户信息采集中的应用

2.1低压电力线载波通信技术的工作原理

低压电力线载波通信技术分为两个部分：一是对载波进行调解的通信部分；二是对载波进行路由选择的通信部分。

2.1.1对载波进行调解的通信部分

它的通信工作机制是：当开始进行信息传送时，将这些信息调解成一种特定的信号，这种信号通过电力线的传送路线，被准确地输送到接收方，最后又恢复成为原来的信息。在现代电力事业中，载波调解时所用到的技术主要是频率偏移控制技术、频段相位改变控制技术和直接扩展频率控制技术。

摘要：天然气开采和集输生产过程中，需要消耗各种能量，才能完成天然气生产的任务。为了实现天然气开采集输节能降耗的目标，优化设计天然气开采集输过程中的节能技术措施，采取最佳的节能管理，减少能量损失，提高天然气生产的效率。

关键词：天然气；开采集输；节能技术；途径

天然气开采时，通过气井将天然气开采到地面，应用天然气到达进口具有的压力，将其输送至分离处理站，经过分离处理后，进入集输生产环节。通过近些年的开采，地层压力逐渐降低，不能满足生产需求，截止目前，涩北气天采用增压处理的方式，使用压缩机对天然气进行处理。优选最佳的天然气处理设备，降低能量消耗，才能达到降本增效的技术要求。

1天然气开采集输概述

优化设计天然气开采技术措施，尽可能提高天然气到达井口的压力。当气田生产过程中，由于井下积液的影响，会降低气井的压力和产量，采取最佳的排水采气的技术措施，解决积液对产气的影响。保证天然气到达井口的剩余压力，将天然气输送至集中处理站，经过净化分离处理，将天然气中的水和二氧化碳等杂质除去，使其达到商品天然气的质量标准后，进入到集输管道系统，输送给用户，完成天然气生产集输的任务。

2天然气开采集输节能技术途径

对天然气生产和集输系统的能耗进行分析，对采气单耗和输气单耗进行控制，降低各种能量的消耗，提高天然气生产企业的经济效益。