大数据工作要点范文1
科学工作流中的任务之间的依赖既包含控制依赖，也包含数据依赖。连接两个任务(t1－t2)的边表示任务t1的输出作为任务t2的输入，工作流中的每个任务可能读入一个或多个输入文件，然后写入一个或多个输出文件。在工作流层，文件可以分为3种类型:输入文件、中间文件和输出文件。不同类型的文件具有不同的生命周期。(1)输入文件。输入文件不由工作流中的任务产生，文件通常驻留在用户存储服务器上。在运行时，可以从一个存储服务器传送到另一个存储服务器，然后在这里被检索，也可以在存储服务器上直接检索。图1中的F-input就是一个输入文件［10］。(2)中间文件。在工作流运行过程中产生但无需长期保存的文件称为中间文件，将在所有使用它的任务结束后被立即删除。图1中的f－t1－o1、f－t1－o2、f－t2－o1、f－t2－o2都是中间文件。(3)输出文件，由工作流产生，对用户有用并且在工作流结束后需要永久保存的文件。在工作流执行过程中，这些文件通常被转移到常驻存储中。图1中的F-output就是工作流的输出文件。值得注意的是，输出文件不一定必须是工作流中最后任务的输出，也可能是中间环节任务的输出数据。
2云计算环境下工作流执行模型
科学工作流由工作流管理系统提交和管理，工作流管理系统驻留在提交主机，协调调度工作的流执行。工作流管理系统将工作流中的任务分配到虚拟机的工作节点，任务的执行所需要的数据可以从一个或多个输入数据存储点输入。中间文件在工作流执行期间驻留在数据暂存站点。当工作流结束时，工作流管理系统删除中间数据，同时将输出文件从暂存站点转存到输出站点，然后永久性保存。根据工作流管理系统和目标执行环境的不同，多个数据站点可以协同工作。例如，在输入数据已经驻留在计算节点的情况下，该计算节点和输入点是相同的。图2显示了具有两个任务的工作流，来说明工作流所需的文件是如何在逻辑上独立的站点之间移动的。
3对象存储应用于科学工作流中的数据管理
对象存储系统主要包括存储服务器、元数据服务器、客户端等组成部分，其核心思想是将数据的读和写与元数据存储分离，如图3所示。存储服务器主要负责数据存储、智能的数据分布以及每个对象元数据的管理;元数据服务器主要提供对象存储访问、文件和目录访问管理以及客户端缓存的一致性管理等功能。为了提供可扩展的可靠服务，对象存储器的内部结构非常复杂。例如，亚马逊的简单存储服务(S3)［12］通过REST(RepresentationalStateTransfer)、SOAP(SimpleObjectAccessProtocol)和APIs(ApplicationProgrammingInterfaces)提供检索和删除操作;它将一个对象的多个副本布局在存储服务器上以提供错误情况下的冗余。很多网格存储服务和为数据密集型应用设计的协议可以认为是对象存储，这种架构对构建来自不同的执行环境的数据管理模式而言具有重要的借鉴意义。针对面向大数据工作流，利用对象存储的优点，本文提出两个方案:一是工作流中的3类数据文件都使用远程的对象存储;二是在计算节点上使用共享文件系统作为数据暂存点来存储中间数据。
3.1单独使用对象存储
在这种情况下，所有的数据都存储在对象存储系统中，工作流管理系统需要从对象存储中无缝检索数据，为本地工作流任务使用。在这样的设置中，工作流管理系统从对象存储中检索输入文件和中间文件，然后，工作流中的任务对本地的POSIX文件系统做必要的输入/输出设置，任务完成时，工作流管理系统能够将中间数据和输出数据存储到对象存储中。这样，即使工作流被部署在分布的资源上，科学应用只需要对POSIX做常规的输入/输出设置，就能完成工作流的执行。工作流管理系统与对象存储的多次交互增加了工作流执行的开销，而该开销与分布资源上的计算相比并不算大。对象存储中既有输入数据也有中间数据，只要工作流系统与对象存储能够无缝检索和存储，那么任务执行可以在任何地方。如图4中，任务t1可以在校园计算机集群上完成，而属于同一工作流的任务t2可以在亚马逊的EC2上完成，t1、t2使用亚马逊的S3对象存储作为中间数据文件的暂存。总之，数据存储和执行环境的分离，使得工作流在分布资源上的执行更为容易。一个常见的情况是，当计算需求超过本地或校园计算所提供的资源时，将使用云资源。图4也说明了工作流的数据移动情况。在这里，文件F-i被传送到云中的高性能计算集群工作节点的本地文件系统。任务t1从该节点开始，读入输入文件F-i，然后写入本地文件系统的中间文件F-t，F-t被传回到作为数据暂存点的对象存储中。F-t文件将从对象存储中被检索进入到EC2节点的本地文件系统。任务t2启动后读取F-t文件(该文件是由t1创建)，然后将F-o写到本地磁盘，再传送到对象存储中。以上所有的数据传输工作都由工作流管理系统完成。科学工作流中单独使用对象存储的明显不足之处是，数据重复传输会引起在大数据处理过程中的延迟。工作流中的多个任务使用相同的文件，所以重复传输是显而易见的［13］［14］。对象存储将对同一资源的重复请求认为是不同的请求，对象存储通常以其良好的扩展性减轻这种重复对工作流性能造成的影响。另外，工作流系统可能在本地节点选择缓存文件，或者利用集群中的共享文件系统来减轻此问题。延迟是整个工作流性能应该关注的问题，云对象存储的设计提供了很高的带宽，但对单个检索或对象操作可能需要数秒钟的延迟。对具有大量文件的数据密集型的科学工作流而言，这种延迟显著增加了工作流运行的时间开销。大型工作流中的另一个问题是多数中间文件需要被传输到对象存储中由相关后续任务检索并使用。由于商业对象存储提供以GB为单位的存储，并按迁移、存储和检索的请求数付费，所以重复传输也就意味着费用的增加。
3.2共享文件系统作为数据暂存
解决由数据重复迁移造成的延迟问题的方法之一，是工作流管理系统将中间文件暂存在POSIX兼容系统中，由多个计算节点文件系统共享，然后在一个资源节点上运行所有的计算。文件共享系统保存了工作流管理系统中所有任务的中间数据，在这种情况下，只有输入输出文件存储在对象存储中。由于中间文件不需要在对象存储与计算节点之间传送，从而可降低使用商业云对象存储的费用。如图5所示，是一个具有文件共享系统的高性能计算环境下具有2个任务的简单工作流。文件F-i被工作流管理系统传送到集群文件共享文件系统。任务t1在计算节点1上启动，从共享文件系统中读入文件F-i，然后将中间文件F-i-t写入到共享文件系统中，任务t2在计算节点2上启动，从文件共享系统中读入F-i-t(由任务t1创建)，然后将其输出写入到F-o，F-o由工作流管理系统送到对象存储中，这种方法的优点在传统的有高速并行超级计算环境中尤为显著。例如，XSEDE(ExtremeScienceandEngineeringDiscoveryEnvironment)节点对多数科学工作流点有极大扩展性［15］。值得注意的是，如果第一个计算节点忙而需要将计算溢出到另一个节点时，这种随数据布局任务的方法，损失了布局计算的灵活性。以上两种方法各有所长，选择使用哪种方法取决于工作流的类型和工作流执行的目标环境，这就要求工作流管理系统的开发具有弹性的数据管理方案，允许科学家有效使用对他们有用的基础设施。工作流中的数据管理方案应该具有如下特征:首先，科学工作流管理系统允许任务和数据后绑定，任务依据资源的可用性映射到计算资源上，任务在执行时能够发现资源，并从众多存储中选择数据暂存位置;其次，在科学家只有一个计算资源可用的情况下，允许任务和数据的静态绑定;再次，支持使用不同协议和不同安全机制访问对象存储。
4相关工作
工作流管理系统处理数据的方法很多，Swift［16］采用与本文所描述的第二种模式类似，使用本地文件系统或共享文件系统作为数据缓存，提交主机扮演数据暂存的角色。系统首先选择一个计算站点来运行一个任务，然后将数据从提交主机推向该站点的文件系统，任务执行后，输入的文件被回传给提交主机，中间文件被留在共享文件系统中以便后续任务的执行。相对而言，本文将数据文件(包括输入、输出、中间文件)与提交主机分离，并使用不同的协议，具有更好的灵活性。其他工作流管理系统如Kepler［17］，Triana［18］和Taverna［19］关注的是流式工作流中任务的调度和其他Web资源的调用，这些工作流具有图形化的用户界面，允许用户搭建具有不同部件的工作流，但通常没有涉及访问大量数据集的问题。这些工作流中的数据管理很大程度上依赖于用户，数据管理自动化非常有限。Kepler［20］引入了一个MapReduce执行器，允许执行采用MapReduce算法的混合工作流。Hadoop平台通常用来运行数据密集型的科学应用，它所提供的文件操作与POSIX类似，允许随机读，但不允许随机写。在这种情况下，Hadoop平台负责将输入文件切片并分布在各个数据节点。而本文提出的方法主要针对工作流运行在多个不同的执行环境中，代码不能MapReduce的情况。在XSEDE中，任务利用分布式文件系统如GPFS-WAN［21］(GeneralParallelFileSystem-WAN)来访问数据，分布式文件系统支持POSIX操作，可以对输入和输出文件进行远程访问。研究表明［22］，将大型数据集布局在本地计算节点会更好，但这一策略也会带来新的问题，如不同类型工作流的融合以及数据布局策略算法等。
5总结
大数据工作要点范文2
关键词：嵌入式；网络节点；Linux；ARM；工业数据采集
中图分类号：TP274.2
随着微电子技术及信息技术的不断进步，实时数据在企业中的利用也日益增多，企业在生产运行、生产决策、故障诊断、设备监测等方面都应用到了实时数据。因此，保证实时数据的及时性、准确性、可靠性、稳定性，是工业控制系统必须满足的基本要求。嵌入式系统集成了微控制器（或微处理器）的系统电路以及相应的专属软件，有效实现了操作效率与成本比例的最优化。嵌入式系统的应用，可有效促进企业生产、经营自动化程度的提高。
1 嵌入式数据采集网络节点的特点
传统的工业控制系统在管理模式、数据采集方面大部分都应用了B/S与C/S结合的结构模式，其数据库都集中于S（Server）端，运行于各网络节点的应用程序不能加载数据库，虽然该方式能较好地保证数据一致性，然而其对S端可靠性有着较高的要求，同时也需要S端具有较高的数据处理能力，不但使网络传输消耗大大增加，也不利于系统的扩展。
嵌入式工业数据采集网络节点的出现，则很好地规避了数据库的集中管理，其通过在各网络节点设置分布式数据库，利用广播协议，实现分布数据库的高速刷新，进而保证了所有数据库数据的一致性。同时，分布数据库也涵盖了全网的动态数据，各网络节点只需要同其分布数据库进行数据交换，就可实现全网通信，其不仅不需编程与通讯，还较好地实现了数据采集、交换的高速响应。
2 嵌入式操作系统及微处理器的选择
嵌入式系统，是指利用计算机技术，以应用为目标，应用系统对功耗、体积、成本、可靠性、功能具有严格要求的一种专用操作系统。在嵌入式操作系统中，处理器是其核心硬件，根据应用方向及功能，主要分为MCU（嵌入式微控制器）、EMPU（嵌入式微处理器）、EDSP（嵌入式DSP处理器）、SOC（嵌入式片上系统）四种。在嵌入式工业数据采集网络节点的开发过程中，通常会从主流嵌入式操作系统中进行选择，比如pSOS、Linux、WinCE、uC/OS、VxWorks等，其中Linux的应用最为广泛。在选择微处理器时，需要考虑到数据库构建资源及网络功能要求。目前，市场上的主流微处理器有ARM、MIPS、X86、PowerPC等。其中ARM采用了先进的RISC结构，并且拥有完整的开发工具、软硬件设计、技术支持，其是嵌入式系统硬件平台的理想选择。
3 嵌入式数据采集网络节点的硬件设计
网络节点的核心处理器采用S3C2410型ARM（ARM9内核），支持内存管理单元，硬件部分主要包括处理器模块、存储器模块、数据传输模块以及电源、复位、驱动、时钟模块4个部分。硬件构成框架如图1所示。
在实现过程中，通常会将存储器模块与处理器模块封装在一个模块中，加上复位、时钟、电源等构成核心模板，在此基础上实现Linux，并以此为核心扩展组件，以提升程序开发效率。在电路设计中，会将模块、核心模块分开，核心模块设计采用“金手指”形式，设计为DIMM-200标准接口。
4 嵌入式数据采集网络节点的软件设计
软件设计的任务包括建立开发平台、开发Berkeley DB数据库程序，其中数据库程序主要包括节点故障恢复、数据处理、网络通讯及串行通讯程序。
4.1 建立开发环境
要在ARM操作系统中建立数据库程序，首先需要创建开发环境。Berkeley DB可视作程序库，创建开发环境也就是编译Berkeley DB，利用编译获得的API函数，编写数据库系统。在编译Berkeley DB后，所得的API函数能适应多种操作系统（Linux、Windows等），本文分别在嵌入式Linux、Linux、Windows下创设了开发环境。
4.2 实现数据库的应用函数
在创建开发环境以后，可对API函数进行直接调用，与此同时，还需要根据需要，根据API函数编制出应用函数，建立数据库系统，实现数据的管理与存储。
4.3 设计应用程序
根据设计要求，可根据功能将应用程序分为4个模块：一是串行通讯程序，该程序主要用于接收、存储串口485、232的数据，可应用C语言进行编写；二是网络通讯程序，该模块是网络节点的核心程序，其主要用于实现数据的网络传输，且为双向传输，包括数据接收及广播；三是数据处理程序，该程序主要用于实现提取暂存队列数据，释放数据所占内存空间，同时将提取数据存储到数据库中；四是故障恢复程序。当在系统运行过程中，若节点出现故障，该程序可使各节点可对故障节点的相关信息进行记录，在节点恢复正常后，又可自动恢复故障时间段中的数据，以确保各节点分布数据库中数据的一致性。
5 网络节点实现的功能
在嵌入式系统环境下，运用工业以太网技术进行网络控制，实现实时数据的可靠、稳定、高速传输，其能有效促进工业控制网络技术的发展。嵌入式工业数据采集网络节点最终实现的功能有：
第一，网络节点中配置了CAN、RS485、RS323总线和网络接口模块，以便在控制网络中顺利接入各种通讯设备，实现即插即用。在该系统中，可将核心模块嵌入应用电路，同智能设备组成一个完整的分布数据库监控平台。
第二，通过运行嵌入式Linux，建立多个分布式数据库，各分布式数据均包含了全网数据，同时各分布数据库都拥有自己的IP地址，其能对节点进行任意的增删和即插即用，极大地扩展了网络节点的通讯距离和容量。此外，在分布数据库中，还可以进行历史查询，利用数据广播，实现了全网数据库的高速刷新，刷新时间可达到毫秒级，从而保障了全网数据的一致性。
第三，在每个网络节点中，都嵌入了通讯协议，实现了网络通讯的自动化、无编程化，有效节省了软件编程成本，也使其他软件编程变得更为简单。每一个分布数据库都包含了整个网络的动态数据，各节点通过与自己的数据库进行数据交换，就能实现全网通信。
6 总结
嵌入式工业数据采集网络节点，综合运用了以太网技术、数据库技术和嵌入式系统，其较好地融合了控制网络技术和数据库技术，通过在工业控制层嵌入分布数据库，实现了对全网历史数据、实时数据的管理与查询，其使工业数据采集摆脱了对服务器数据库的依赖，实现了数据存储的稳定性、高效性，同时有效提升了服务性能、降低了成本，嵌入式网络节点必然会成为工业现场控制网络的主流发展趋势。
参考文献：
[1]王珏，谭辉，黄亮.工业CT用数据采集与传输系统设计及实现[J].仪器仪表学报，2009，30（4）：722-727.
[2]陈尧.基于嵌入式Linux的工业数据采集设备以太网端口设计与实现[J].电脑编程技巧与维护，2013（16）：68，96.
[3]何景波.基于Linux的嵌入式应用系统技术研究[D].中北大学，2009.
[4]刘昊.面向制造执行系统的RFID嵌入式数据采集终端研究[D].北京工业大学，2010.
[5]刘溯.基于ZigBee技术的工业数据采集系统设计及实现[D].哈尔滨工业大学，2011.
大数据工作要点范文3
关键词:矿产远景调查;数据库建设;数字地质调查系统;矿调
中图分类号:TG334文献标识码:A文章编号:1009-2374(2009)22-0022-04
战略性矿产远景调查是战略性矿产勘查的前期基础工作,是为矿产预查直接提供靶区和新发现矿产地的区域找矿工作,其目的是解决矿产勘查后备选区紧缺的问题,为政府矿产资源规划管理和提高矿产可持续供给能力提供基础保障,为提高国家勘查资金的投入产出效益和促进矿业可持续发展服务。
矿产远景调查主要工作内容包括矿产地质填图、地球化学勘查、地球物理勘查、自然重砂测量、遥感地质调查、矿产检查、综合研究等。
战略性矿产远景调查是一项公益性的地质调查工作,综合研究工作贯穿始终。同时矿调工作所获得的所有地、物、化、遥等基础资料和开展的不同阶段数据库的建设,为政府矿产资源规划管理和决策提供支撑,具有重要意义。
近10年来,信息技术在各个领域得到广泛应用。特别是在中国新一轮国土资源调查中,一项重要内容就是实施数字国土工程,目标是将已有的国土资源信息进行分析、筛选并数字化。按GIS方式建成具有信息管理、综合分析、评价功能的国土资源基础数据库、图库,实现实施过程和调查成果的数字化、网络化,建立资料汇交、共享等制度,向国家和社会提供国土资源的基础资料和相关信息,而数字化图件、图表和文字说明是最直接明了的表达方式。
一、项目数据源的基本情况
江西省三南地区矿产远景调查项目是2004年度中国地质调查局新开的战略性矿产远景调查项目。工作区涉及5个1∶50000标准图幅:G50E020002(南径)、G50E020003(全南县)、G50E020004(汶龙)、G50E021002(大吉山镇)、G50E021003(杨村)。地理坐标:东经114°15′～115°00′;北纬24°30′～24°50′,总面积2344km2。该项目于2005年开始正式实施,其中2005～2006年主要开展了面积性的调查工作,2007年的主要工作是进行矿产的重点调查。项目1∶50000矿产地质填图,全程采用数字地质填图系统,完成地质调查填图面积2344km2。新发现矿点15处。1∶50000化探扫面全区共获得10691件水系沉积物样品测试数据,圈定出综合异常90处,综合异常面积616.56平方千米。全区进行了遥感蚀变异常提取,运用主成分分析法分别利用1、3、4、5波段和1、4、5、7波段提取了铁矿化蚀变异常及羟基蚀变异常。对重要矿点进行了矿点重点检查工作,其中1处为新发现矿产地,实现了该地区找矿工作的突破。通过综合研究,在概略检查和重点检查工作后,确定了10个成矿预测区(找矿靶区)。
二、数据库建设的内容及流程
项目以南径图幅是目前开展矿调工作中具有代表性的图幅之一,具有数据种类多、研究程度高等特点。
目前,在进一步工作的找矿靶区和新发现的矿产地也取得了令人信服的成果,开展实验阶段正值于综合分析工作阶段,为开展战略性矿产远景调查数据库的建设提供了很好的条件。
(一)数据库建设的内容
根据三南地区矿产远景调查项目工作的特点,确定本次数据库建设内容有6项:(1)地质填图野外数据库,包括野外手图、实测剖面、图幅PRB库;(2)实际材料图数据库;(3)地质矿产图空间数据库;(4)地球化学数据库;(5)遥感数据库;(6)综合成果数据库;(7)大比例尺综合图。最后一项不属于数据库建设内容,但为了研究及浏览方便,将各类大比例尺图在RgMapping程序中可以方便地调出。
(二)数据库建设的流程
1.地质填图野外数据库建设:根据野外手图、实测剖面的内容组织图幅PRB库。PRB库中包括野外地质路线、实测地质剖面的原始记录内容,相当于我们过去所使用的综合手图和记录本(图1)。
2.实际材料图数据库建设:根据图幅PRB库的内容形成实际材料图,在此基础上录入各类属性。实际材料图是把图幅PRB库的内容整体复制到实际材料图文件夹下,比图幅PRB库多了3个可供编辑的文件:地质区文件(Geopoly.wp)、地质线文件(Geoline.wl)和地质点文件(Geolabel.wt),这3个文件与空间数据库文件夹中的属性结构内容有所不同,实际材料图中的建库主要是针对这3个文件的。实际材料图相当于以往填图过程中的编稿图,其内容已经过编辑。例如:野外收集的产状过密,可以在实际材料图中加以抽稀;小于填图单位的地质体可以做适当的取舍等(图2)。
3.地质矿产图空间数据库建设:根据实际材料图更新空间数据库的内容,并依据空间数据库的各类标准完成空间数据库的建设内容(图3)。
4.地球化学数据库建设:其操作主要在实际材料图界面下进行,其内容包括:(1)分幅地球化学原始数据(采样点位数据与分析数据)转换形成地球化学采样点位及数据图,所带属性中包括ID号、采样点号、点位及14个元素Cu、Pb、Zn、Au、Ag、W、Sn、Mo、Li、As、Sb、Be、Bi、Nb的光谱含量值(图4);(2)根据采样点文件生成14种单元素的地球化学等值线图,地球化学图中自动赋予了等值线线属性及等值线区属性;(3)分幅根据单元素地球化学图编制出元素综合异常图(图5)。
由于在这次地球化学数据库建设的过程中,分幅单元素地球化学图、元素综合异常图前期已成稿,因此建库时只是将原完成图件的点、线、区文件添加于数字填图/地球化学文件夹中,在实际材料图中任意添加某个单元素地球化学图或综合异常图的点、线、区文件即可,所有地球化学图中线、区文件均赋以属性。
地球化学数据库建库步骤:在建库之前拿到的数据无非有3类,一是地球化学原始数据文件(这里又有两类:原始数据文件及经过程序处理生成的原始点位文件),二是地球化学等值线图,三是地球化学综合异常图,如果拿到的地球化学等值线图及综合异常图是符合建库要求的,则直接添加到数据库中即可。但我们遇到的可能大多是不符合要求的数据,这就需要再做一点少量的工作。所有数据应存放在“\数字填图\地球化学”文件夹中,对以下情况应作相应的修改:(1)文件命名不符合要求,属性结构及其他符合要求的,改一下文件名即可用;(2)文件命名符合要求,属性结构及其他不符合要求,需要在rgmpping处理后方可使用;(3)以上内容都符合要求,但与图幅PRB库中不能配准的,需要配准后才能使用;(4)只有原始数据文件,没有原始点位文件,需要在程序中生成点位文件的;(5)需要重新生成等值线的。
对文件命名符合要求,但属性结构不符合要求的文件的处理办法:(1)在综合数据处理菜单下,执行地球化学数据结构标准化-赋地球化学等值线结构;(2)在打开的对话框中选择需要结构标准化的文件(面文件与线文件均可),将所有需要结构标准化的文件处理完毕。
与图幅PRB库中不能配准的处理办法:一般进行投影转换,即目的投影与图幅PRB库中的投影参数一致即可。如果在没有完成地球化学图的情况下,首先需在PRB库中完成地球化学原始数据转换(数据转换为点文件),然后在实际材料图中利用综合数据处理完成各单元素的等值线图(成图方法可选择软件中提供的TIN、GRID、KRG三种方法,由个人根据需要完成)。其后利用单元素地球化学图根据图幅内地球化学元素组合的特点任意组合完成综合异常图。
5.遥感数据库建设步骤:所有数据应存放在"\数字填图\遥感"文件夹中。遥感数据库涉及的内容不是很多,本项目只做了遥感影像图、主成分分析铁质蚀变遥感异常图及推断线性构造图层。具体步骤:(1)把遥感室处理的数据(一般为JPG文件格式)转换成mapgis软件可以接受的MSI格式;(2)实现方法:在rgmapping程序下,在数据输出菜单下,执行JPG转MSI即可实现;(3)配准图像:就是将转换成的MSI格式的影像文件,通过mapgis 软件的图像处理功能配准到图幅PRB库中;(4)图像裁剪:一般来说,遥感室提供的是整个工作区的图像文件,而建库需要的是每个单幅的图像文件,那么就需要将整个的图像裁剪为一个个标准图幅;(5)将图幅不同种类的遥感图像添加在实际材料图界面下,在此进行各种解译推断图层的建库工作。当然也可以在整个工作区的图像上进行建库工作,最终完成后进行配准裁剪等,这种方法可能更加适合。
6.综合成果数据库建设:其操作主要在“数字填图\实际材料图界面下\综合成果”菜单下进行具体编辑完成,具体内容及系统中文件名、文件格式(见表1)。综合成果数据库的建库工作对计算机技术要求不高,在实际操作过程中,简单地说就是在综合研究的基础上将一些点、线、面文件赋予相应的属性,严格来说应属于地质工作的范畴。
具体操作流程为:(1)在实际材料图界面下,点击综合数据采集-成果数据新增下要编辑的某一成果,如点击异常查证结果表,系统自动在gmapping\工作图幅\数字填图下建立综合成果目录,并将异常查证结果表Anomaly Check.WT文件自动存放在该目录下;(2)在图幅上要编辑的位置点击,系统自动调用一个子图并打开一个要输入属性内容的表格;(3)在表格中输入异常查证的内容(对于点实体来说,输入坐标后,点击表格下方的重投影按扭,系统将自动将点投影到相应位置);(4)将所有内容录入完成后,点击综合数据采集-自动给图层赋实体代码,系统自动赋各表格的要素编号(线与面的操作流程同点)。
综合成果数据库的建设在矿产调查工作中意义很重要。通过数据库的建设可以系统地检查前期地质工作过程中资料收集的完备性,同时可以进一步提高工作过程中综合研究工作的程度,对小区域范围内的地、物、化、遥原始资料综合分析,为下一步开展矿产重点调查工作的选区和判断提供充分依据。该项工作必须由项目主要地质技术人员来完成。
7.重点工作区大比例尺综合图:根据矿产调查工作技术的要求,在面积性工作的基础上,对重点调查区要相应地开展大比例尺的地质、物化探工作,个别区域要开展深部工程验证。因此针对矿产调查工作的特点,试点图幅里特别添加了重点工作区大比例尺综合图,具体内容包括1∶1万地质草图、1∶1万综合异常图、1∶1万单元素地球化学图、1∶1万地质、物化探综合剖面图、探槽素描图。在以往进行矿区地质工作时,一般在进行综合研究时需要将野外矿点检查的图件随时调出查看,按传统方法,无非是纸质图件或电子文件,电子文件的调用就需要打开相应的程序,这样就造成工作上的一些不便,如果能在实际材料图界面下将这些图件调出,就方便了许多。本次数据库建设工作中解决了这一问题。大比例尺综合图调用的实现方法:首先在\数字填图目录下建立的大比例尺综合图目录下:(1)打开实际材料图界面,在菜单PRB数据操作下执行显示大比例尺综合图;(2)在线编辑菜单下输入一个方框或其它形状的图形,再次执行显示大比例尺综合图;(3)点击图形,在调出的对话框中输入相应的属性(研究区代号为必填项)。在研究区代号属性栏中填入与要调用图件工程文件名完全一致的名称;(4)单击对话框底部“选择数据的路径”,将要调用的图件路径选择完毕后,系统自动将要调用的文件复制到大比例尺综合图目录下,点击大比例尺图,就可将所需要的图件调出。
探槽素描图调用的实现方法:因为探槽素描图是在memapping程序下工作的,在rgmapping的实际材料图中调用需设置固体矿产工作数据的盘符:(1)在设置菜单下,执行设置固体矿产工作数据的盘符,如C、D、E等。系统自动将emapping\工作图幅\数字填图\勘探工程库下的TC.wt文件装入当前工程中;(2)在综合数据处理菜单下执行固体矿产工程素描浏览-探槽,单击需要显示的探槽符号,即可调出探槽素描图;(3)也可在综合数据处理菜单下执行室内工程属性数据编辑,单击需要编辑的探槽符号,即可调出探槽属性编辑框。
三、结论与讨论
20世纪90年代以来,以空间技术和信息技术为先导的高新技术群迅速发展,不仅引起了地学工作方式、科学研究方式和思维方式的巨大变化,而且引起了有关学科领域的全面发展和变革。在地球科学技术研究方面,目前已进入应用高新技术解决资源环境问题的新时代。高新技术的出现使地球科学技术出现了许多以高新技术为手段的新的前沿,新的突破带来新的发展,在生产中形成新的领域,使科技社会化。
战略性矿产远景调查工作是一项基础性、公益性极强的地质工作。这项工作不同于以往的小范围异常查证或矿产普查工作,所获得的全部资料为基础性、公益性地质资料,具有原创性。矿质调查工作的工作思路是在普遍中获取特殊性,对原始资料进行综合分析。不同的地质工作者对同一原始资料往往愿意通过多方法、多手段进行分析判断,从而获得一个全面的认识。纵观以往基础地质调查所获得的资料和信息多带有完成者的主观认识,极不便于多方法、多手段的综合分析。因此,本次矿产调查工作数据库的建设,为不同地质工作者对该区域进行综合分析工作提供了一个良好的平台。
长期以来,地质图(或最终成果)一直是地质填图唯一的成果数据,一线的工作者基本上处于被动或任务型的建库状态。而基于数字地质调查系统完成的矿产调查数据库,从野外数据采集到成果表达实现了全程数字化。这类地质图具有图形和属性数据,其地质图空间数据库建库组织直接从PRB实际材料图库导入到空间数据库,并补充完善了对象类、要素类和综合要素类属性数据。与以往地质图空间数据库的内容相比较,本次数据库的内容囊括了工作区地、物、化、遥全部信息,为下一步开展矿产重点调查工作的选区和判断提供了大量资料依据,对提高工作区的研究精度、研究效率和成果的表现形式提供了重要的技术保障。同时,本次数据库的建立不是单纯地为建数据库而建数据库,换句话说,数据库建设不是与工作流程无关的工作,而是不同工作阶段的组成部分之一。每一个阶段的数据库既来自前一个工作阶段的数据库,又是下一个工作阶段数据库的基础。
本次矿产调查数据库的建设流程与具体的地质找矿业务工作充分地融合在一起,以往数据库的建设只是由计算机技术人员录入实现完成,现在是地质技术人员借助数字地质调查系统,对矿产调查业务工作不同阶段所获得的资料进行及时的综合分析,上一阶段的工作成果及时指导下一阶段的工作安排,大大缩短了原始资料的系统整理时间。项目人员可以从计算技术的应用中体会到新技术带来的好处,同时又能形成新的工作模式,为提高研究精度、研究效率和成果的表现形式提供了重要的技术保障。
最终数据库的全面完成,可以实现本地区基础地质资料的完整性、系统性,将会极大地提高从小区域到大区域的基础资料全方位综合分析的水平,充分实现公益性地质工作成果的社会化。
致谢:本文是在解决三南矿调项目数据库建设过程中的几点粗浅认识,请大家批评指正。在成文过程中得到了周春华、龙天高级工程师、钟斌工程师的悉心指导,吴新华高级工程师审阅了全文,并提出许多宝贵的修改意见,在此表示衷心感谢。
参考文献
[1]中国地质调查局.中国地质调查局地质调查技术标准・战略性矿产远景调查技术要求(DD2004-04)[S].2004.
[2]李海明.GIS概念中的空间基础信息[C].中国地理信息系统协会1999年年会论文集,2000.
大数据工作要点范文4
【关键词】大数据 政府统计 发展政府统计
国家政策的制定，各种决策的产生都需要政府统计部门进行全面的信息统计工作。政府的统计工作的有效进行是维护国家大环境平稳运行的有力保障，对社会和谐发展也具有重要意义。面对“大数据”时代的来临，政府应该正确认识大数据的基本内涵，重视其对统计工作的影响，积极主动配合大数据的时代特点进行政府统计工作的调整。
一、大数据时代
大数据时代的产生是伴随着信息的数字化和智能化的发展形成的[1]。近年来信息领域的专家对其产生与发展讨论激烈，在讨论过程中使人们意识到大数据的重要性。大数据的特点是容量大，形式复杂，数据生成快且信息价值密度低。其中形成的数据整体规模不断扩大，导致信息数据的跳跃式发展状态。随着数据来源渠道的增多，数据的结构也发生改变，其结构类型包括结构化、非结构化、半结构化。数据的数量与速率的提升，导致其利用程度大大提升，使其在诸多领域发挥其应用价值，因此，对于政府的统计工作也具有重要意义。
二、大数据时代对政府统计工作的意义
（一）改变传统的政府统计工作的特点
（1）数据量整体提升，改变数据的有限性。传统的政府统计要在一定时间内处理大量来自各种门类，各种行业的报表，这些报表的上交都是统计工作人员根据相应的调查目的，要求企业直接上交的数据信息，虽然数据的整体数量大，但其数据的有限性突出。在大数据的背景下，政府的统计部门在进行报表的收集和处理时，各企业对其报表进行数字化的转换，然后进行数字化的数据传输，使收集过程变得简单明了，由于政府统计人员在进行数据收集时没有目的性，各行业的数据按规定定期上交，使统计数据成倍增长，从而减弱了数据的有限性特点。
（2）改变其单一类型的特点。传统的政府统计工作处理的数据类型主要以文字、表格、数字为主，导致数据的处理类型单一，大数据的运用，改变了传统、单一的数据处理类型，其类型由文字、表格、数据转化为多种形式的可以被计算机所识别的数据。例如，多媒体的音频、视频、图片等。
（3）改变数据分析的难度。传统的政府统计工作由于对企业报表的调查目的性强，使数据在收集、处理时程序简单，核算方式、核算结果都比较明确，数据收集与数据调查的关联性大，使数据分析过程简单容易。现今大数据的广泛应用使数据的收集与调查关联性减弱，大量的数据涌入统计系统，统计人员在进行调查时要将众多数据信息进行目的性的分类，在分类中根据调查目的进行数据的分析，导致数据分析难度加大，缺乏高超的技术性分析，很难得出有价值、有作用的分析结果。
（二）提高政府名录库建设
统计部门进行政府名录库建设是其基本工作职能之一，政府名录库的建设可以促进统计工作的有效进行。现今，大数据的背景下，信息之间交流日趋便捷，交流渠道多样，导致数据的总体数量逐步提升。政府应根据现今社会的发展模式，充分利用大数据，将企业的发展动向，和企业的发展现状相结合，分析企业出现状况的原因，从而促进企业的发展。另一方面，在动态的数据分析中，发现企业新的利益增长点，从而形成数据更新及时，数据涵盖全面的名录库，使其服务企业，服务政府的功能得以实现。
（三）促进统计知识宣传氛围的形成
现今，政府的统计部门由于工作量大，工作过程具有严格的保密性，导致对政府统计部门的工作质疑声越来越多，人们对统计知识的了解不足也导致对政府统计部门的不信任。在大数据的背景下，技术得到前所未有的更新，技术的更新使统计部门在进行数据的传输中速度加快，为促进统计知识宣传氛围的形成提供了技术保障。在逐步进行统计知识宣传中，打破人们对于统计部门的思维定式，消除统计部门在人们心中的疑虑，使统计工作得到人民大众的支持。
（四）改进数据的采集、数据的处理
传统的政府统计数据的采集和处理均采用联网直接报表的形式，其形式虽然对统计工作有一定的积极影响，但其存在的弊端也十分明显。在大数据的背景下，政府统计部门建立一个新的信息处理系统。在新的程序运行下进行数据的采集，对数据的质量进行合理的分析，找出其存在的问题，针对问题进行及时处理，减少系统中数据的错误以及更新不及时的问题出现，从而提高统计数据的质量，促进政府统计工作的有效进行。
（五）强化数据分析能力
政府的统计工作的重点停留在业务数据的处理层，国家在进行决策使难以从静态的数据中提炼大量的有价值的信息[3]。在“大数据”时代，数据的静态形式渐渐消除，利用大数据中的“云计算”技术，可以同时进行大量数据的运算，将计算结果进行动态的呈现，使数据中的潜在价值得以有效发挥，在计算中建立数据与数据之间的内在联系，使政府统计工作高效、准确。
综上所述，政府的统计工作在面对大数据时代的来临时，首先要正确认识大数据的基本内涵，充分运用大数据的优势促进政府统计工作的进行。注重依靠大数据在改变传统的政府统计工作的特点，加快政府名录库建设，促进统计知识宣传氛围的形成，改进数据的采集、数据的处理方式，强化数据分析能力方面的意义，从而促进政府统计工作的顺利完成。
参考文献：
[1]李冬梅.大数据时代背景下政府统计工作模式创新及其配套举措研究[J].统计与咨询，2014，（01）.
大数据工作要点范文5
关键词:激光扫描; 数据处理; 工程侦察; 机载雷达
中图分类号:TN95 文献标识码:A
文章编号:1004-373X(2010)11-0047-04
Application of Airborne Radar in Project Reconnaissance
WANG Wei, GAO Jie
(Engineering Institute of Engineering Corps, PLA University of Sci. &Tech., Nanjing 210007, China)
Abstract: Since the data acquisition of the reconnaissance information in the existing reconnaissance means is slow and the processing course is complex, the airborne LIDAR method which can improve the project reconnaissance efficiency is proposed. The flow chart of LIDAR data processing is presented. The common DEM and DOM accomplishment generated after the data processing can realize the digitlization of the battlefield information quickly, which has the important effect in the project reconnaissance.
Keywords: laser scanning; data processing; project reconnaissance; airborne radar
0 引 言
激光雷达扫描得到的数据作为未来侦察信息的重要来源之一,在主要军事强国得到了大量的应用。它具有侦察数据量大、战场信息数据采集快的优点。然而这些数据并不能直接为我们服务,对于如何处理这些庞大的数据,进而满足作战需求就显得尤为重要。通过激光扫描数据处理实现战场目标侦察数字化,增强战场监控能力和快速获取战场数据信息,为工程保障提供可靠战场信息有着重大的意义。本文重点介绍了机载激光扫描数据处理的一般方法,结合战场数据需求对其在工程侦察的应用进行了展望。
1 数据处理
一般来说,对于机载激光原始数据的处理过程分为数据前处理与数据后处理,具体说来,包括POS数据解算、激光脚点三维坐标计算、激光点云数据预处理、数据滤波与分类、数字高程模型DEM生成、正射影像制作、建筑物三维重建以及地物提取等过程。数据处理流程如图1所示。
2 数据前处理
机载激光扫描数据采集得到的原始数据包括:
(1) 原始激光点云数据,由激光扫描仪采集得到;
(2) 原始数码影像数据,由数码相机拍摄采集得到;
(3) 惯性导航仪(IMU)数据;
(4) 机载GPS数据;
(5) 地面基站GPS数据。
原始激光数据仅包含每个激光的发射角、测量距离、发射率等信息,原始数码影像也只是普通的数码影像,都没有坐标、姿态等空间信息。只有在经过数据前处理(也称为数据预处理)后,才完成激光和影像数据的“大地定向”,只有空间坐标和姿态等信息。
原始激光点云数据的大地定向包括数据定位和定向两大内容,需要用到机载GPS观测数据、地面基站的GPS观测数据、IMU记录的姿态数据和系统参数(IMU,激光扫描仪、相机之间的相对位置及姿态参数)等。
2.1 激光点云数据定位
机载三维激光扫描在采集数据的过程中,GPS天线同步记录的坐标信息会受到对流层延迟误差、电离层延迟误差卫星星历误差及多路径效应等误差的影响要消除或减小这些误差的影响,才能提高定位精度。
图1 机载激光雷达数据处理流程
消除上述误差通常采用的方法有两种:一种为精密单点定位;一种为双差分定位。
精密单点定位又称为绝对定位,即利用GPS卫星和用户接收机之间的为距观测值,确定测站在WGS84坐标系中的位置。使用精密单点定位方法时精密星历和钟差文件是必需的,可以直接从网站上进行免费下载。使用单点定位最大的优势是不用布设地面基站,这样就可以节省许多人力、物力,但单点定位的精度劣于差分定位精度,在精度要求不高的情况下可以使用。
DGPS双差分定位可以保证比较高的定位精度,该方法是在地面布设基准站,与机载GPS装置进行同步观测,用基准站测定具有空间相关性的误差或其对测量定位结果的影响,供机载GPS装置改正其观测值或定位结果。
基站布设的多少和位置根据测区大小、地形及数据精度要求等具体确定,不同的要求需对应布设不同个数的地面基站。一般情况下,为保证仪器工作的同步性及初始化精度,机场需布设一个基站,若测区面积较小且距离机场较近,在机场布设一个基站基本可以满足生产需要。但有些项目,例如电力巡线或选线项目中,作业区域为条带状,且地形多为山地,一般情况下离机场较远,此时需在测区增设一个或多个地面基站。由于地势崎岖,地面基站布设难度较大,所以在考虑保证数据精度的同时也要考虑尽量减少外业工作量。
DGPS双差分定位方法也可以联合精密星历和钟差文件,定位精度较高。实际生产中一般使用这种定位方法。
2.2 激光点云数据定向
无论通过单点定位还是双差分定位得到的都是GPS接收装置处的坐标信息,而最终需要的是激光扫描仪处的坐标信息,所以还需要根据GPS天线的偏心分量和扫描仪的偏心分量计算激光扫描仪的坐标信息。一般情况下,只要重新安装设备,GPS天线的偏心分量都会有变化,每次都需要重新测量。而扫描仪的偏心分量比较固定,检测期内,使用厂家提供的检测值即可。
IMU与激光扫描仪的相对位置参数由厂家提供,联合定位信息可以得到激光扫描仪的航迹文件,包含激光扫描仪在各个GPS采样时间的位置信息、姿态信息及速度。
根据激光扫描仪的航迹文件,为每个激光点在WGS84坐标系下赋坐标值,即激光数据的大地定向。大地定向后的激光数据,可以通过专业软件打开浏览,因每个激光点都已有坐标属性,以高程显示的激光数据已能比较清晰地看出地面起伏及地物情况。
2.3 激光点云数据的检校
在航飞过程中,IMU和激光扫描仪的相对姿态可能会发生微小的变化,从而对激光数据产生影响,为消除这种影响,通常要对大地定向后的激光数据进行检查。若数据质量较好,则可以直接进行数据加工;若数据存在问题,则需对数据进行检校。
数据检校参数通常是指偏心角分量:侧滚角(Roll)俯仰角(Pitch)和航偏角(Heading)的偏心角分量。
由于大量数据同时运行速度较慢,实际生产中,为较快地得到较好的检校参数,通常的做法是,首先在检校场数据中选择一块典型地形的数据进行检校,得到理想的检校参数后运用在整个检校场,若还有问题,经过微调即可以得到一组检校参数,将该组检校参数运用在整个测区,即可以实现对测区激光数据的检校。经过检校的激光数据,不同航带、不同架次的数据都能很好地匹配,由此便可以进行进一步的数据处理。
2.4 激光点云数据坐标转换
检校后的激光点云数据为WGS84坐标系,国内客户要求的成果坐标一般为工程坐标系,工程平面坐标系通常指北京54坐标系、西安80坐标系或当地独立坐标系,高程系统则指1956黄海高程系统、1985国家高程系统或地方独立高程系统。
完成两个坐标系统的转换,首先需要具有控制点在两套坐标系统中的坐标(例如WGS84坐标及北京54坐标),求出转换参数,然后将转换参数应用于激光数据,完成激光数据的坐标转换,转换后的激光数据即为工程坐标系,基于此而生产的数字高程模型(DEM)、数字表面模型(DSM)等数字产品也在工程坐标系下。
平面坐标转换通常使用的是布尔莎七参数法,平面坐标转换流程图如图2、图3所示。高程系统的转换比较简单,根据控制点在两套坐标系统的高程,求得高程异常,应用于激光数据便可以实现激光数据的高程系统转换。
激光数据的坐标转换可以在检校后进行,也可以在激光数据分类后进行或不对激光数据进行坐标转换而直接转换至成果的坐标系统,这些都是可行的。目前比较成熟的做法为:激光数据检校后进行坐标转换,将激光数据直接转换至成果要求的工程坐标系下,再进行数字产品生产,这样基于激光数据生产的所有产品都是工程坐标系,避免了其他转换方法中可能需要进行多次转换的麻烦。
图2 平面坐标转换流程(一)
图3 平面坐标转换流程(二)
2.5 确定影像外方位元素
相机与激光扫描仪的相对位置参数由厂家提供,联合定位信息可以得到相机的航迹文件,包含相机在各个GPS采样时间的位置信息、姿态信息及速度。初始航迹文件在WG584坐标系下,可以根据生产需要将航迹文件转换至相应工程坐标系,转换方法与激光数据坐标转换方法相同。
根据仪器记录的曝光点信息及原始影像的编号可以得到每幅原始影像的曝光时间,以GPS时间表示。由此相机航迹文件与原始影像的曝光时间文件相结合便可以得到每幅原始影像的外方位元素[1]。
3 数据后处理
在数据前处理上作得到成果,包括经大地定向后的激光数据和经计算得到的影像外方位元素基础上,即可以正式进行常见的DEM和DOM成果数据的加工生产,这一过程称为数据后处理。
3.1 激光数据分类及DEM制作
经过预处理的激光地表数据及激光地物数据都在同一层。需要提取出纯地表数据方能生成DEM。经过分类,将建筑物、植被等非地表数据放在其他层里面,纯地表数据就被分离出来。经过分类的纯激光地表数据是具有三维坐标值的离散点,构TIN后即可以按规定格网生成DEM。
正常情况下解作生成的DEM成果只包含纯地表数据,但由于激光扫描数据分类及生成DEM的方式方便快捷,所以也可以根据客户的应用需求,将感兴趣的地物与地表数据一起生成DEM,以达到特殊应用的目的。激光数据的可视性强,因而可以将不同的地物分类在不同的层里,按层显示时能清楚地看到地物构成情况;经过精细分类的激光数据,去除噪点后,可以保留所有要素生成数字地表模型(DSM)。
3.2 影像数据处理及DOM制作
通过对原始影像进行预处理,已经得到了每幅原始影像的外方位元素。激光扫描测量系统中影像的内方位元素已知,由此便可以完成影像的相对定向和绝对定向,从而生成正射影像。
然而由预处理后得到的外方位元素精度可能达不到生产要求,需要进行进一步的纠正,一般通过找影像连接点的方式进行。
根据与影像对应的纯地表激光数据找连接点,所谓的连接点为两幅有重叠影像上的同名点,一般每两幅有重叠的影像需保证至少4个连接点,而实际生产中为保证产品质量,通常需保证至少8个连接点,所有连接点都必须是地面点且分布均匀,根据影像连接点重新计算影像外方位元素,使用理想的外方位元素进行正射影像的生产。
4 在工程侦察中的应用
利用机载激光扫描产生的DEM,可以快速地生成战场三维数字地图。典型的一套机载激光扫描系统可以在4 h内用一架固定翼飞机完成长30 km、宽10 km区域的勘测。其垂直精度可达15 cm,平均点距为1.5 m,合计记录了15 300 000个反映详细地形和地物的数据点\。
4.1 生成的DEM,DSM数据类型功能
(1) 所选位置坐标查询:实时显示鼠标选中点的地理坐标和高程;
(2) 最佳渡场开设位置:对河流区域进行扫描,系统对扫描点云数据进行处理,分析出适合开辟渡场位置,计算出最短路径,确定最佳点;
(3) 距离、面积量算:地图上两点的距离包括水平距离、直线距离、高差和地表距离;面积包括图上面积和地表面积;
(4) 空间分析及应用:目标性质、种类、具置和特点等;
(5) 地理信息数据库\:建立了完备的战场信息数据库,以备指挥员决策使用。
4.2 工程侦察专题功能
机载激光扫描法相比于传统的电子速测法,作业半径更广、更深,速度更快,效率也更高。传统工程兵道路、桥梁、筑城、地雷、爆破、渡河、伪装、给水等作业任务都需要战场高分辨率的战场三维景观信息的支撑,机载激光扫描正是适应的这一需要。
(1) 工程实体目标建模功能:工程实体目标是指工程兵部(分)队工程作业的对象。工程实体信息模型是指满足工程保障作业战术计算所需要的工程实体目标情报信息的集合。基于机载激光扫描的DEM,DSM能够生成相应的工程实体目标三维建模功能。
(2) 辅助分析功能:扫描生成工程作业区域的三维实物景观;采集工程作业实体目标信息,并进行各种分析、评估等,之后确定改进、改造、调整、规划、再设计抢修的方案及对策。
(3) 工程作业规划与配置功能:将建立的工程实体三维模型在扫描生成工程作业区域的三维实物景观中进行规划和配置,可以对工程作业情况进行仿真和演示。
(4) 空中侦察与地面侦察相协调。大区域范围的工程作业区域的三维实物景观则由机载空中激光扫描生成,小面积的工程作业区域的三维实物景观可以由地面扫描生成,两者相互补充,能满足快速性、高分辨率等特殊需要。
参考文献
[1]郑斌.利用机载激光雷达扫描系统快速获取地面三维数据\.科技创新导报,2008(20):15-17.
[2]陈建军.机载激光雷达扫描的特点及其工程应用\.内江科技,2008(12):122-124.
[3]黄秀军.三维激光雷达扫描技术获取高精度DTM的应用研究[J].工程地质学报,2007,15(3):428-432.
[4]马立广.地面三维激光雷达扫描仪的分类与应用[J].地理空间信息,2005,3(3):60-62.
[5]郑德华,沈云中.三维激光雷达扫描仪及其测量误差影响因素分析[J].测绘工程,2005,14(2):32-34.
[6]刘正军.钱建国.三维激光雷达扫描数据获取高分辨率DTM试验研究[J].测绘科学,2006,31(4):72-74.
[7]马超杰,王科伟.机载军用激光雷达扫描技术\.航空科学技术,2007(5):10-12.
大数据工作要点范文6
《行动纲要》
出台的背景和意义
新一代信息技术与经济社会各领域的深度融合，引发了数据量的爆发式增长，使得数据资源成为国家重要的战略资源和核心创新要素。据统计，全球所掌握的数据，每两年就会翻倍。到2020年，全球的数据量将达到40ZB，其中我国所掌握的数据将占20%。大数据的广泛深入应用，使人类社会逐渐走向数据经济时代。据国际知名咨询公司Gartner预测，2016年全球大数据相关产业规模将达到2320亿美元。
利用大数据分析，能够总结经验、发现规律、预测趋势、辅助决策，充分释放和利用海量数据资源中蕴含的巨大价值，推动新一代信息技术与各行业的深度耦合、交叉创新。大数据的发展将对经济社会发展乃至人们的思维观念带来革命性的影响，同时也能够为国家发展提供战略性的机遇。因此，从出现伊始，大数据就受到各方的热切关注。有关发达国家相继制定出台大数据发展的战略性指导文件，大力推动大数据的发展和应用。
我国发展大数据拥有丰富的数据资源和巨大的应用市场优势。近年来，经过各方的共同努力，我国大数据得到了快速发展。产业规模不断扩大，在部分关键技术上实现突破，涌现出一批骨干企业，在各行业中的应用也得到了深入推广，形成了一大批典型的示范案例。大数据日益已经成为推动经济增长、加速产业转型的重要力量。例如，阿里公司根据中小企业的交易情况对银行的财务和诚信情况进行筛选，并提供无担保的贷款。目前，已累计发放贷款2000多亿元，服务80余万家企业，有力地缓解了中小企业融资难的问题。百度公司利用大数据技术，可以实时展示流感等流行病的动态，预测发病趋势，为应对疫情变化，优化医疗卫生资源配置提供了有力帮助。
未来，随着我国经济发展进入新常态，大数据将在稳增长、促改革、调结构、惠民生中曾担越来越重要的角色，在经济社会发展中的基础性、战略性、先导性地位也将越来越突出。同时，大数据也将重构信息技术体系和产业格局，为我国信息技术产业的发展提供巨大机遇。《促进大数据发展行动纲要》的出台，赋予了大数据作为建设数据强国、提升政府治理能力推动经济转型升级的战略地位。我部将按照国务院部署要求，深入贯彻落实《促进大数据发展行动纲要》，推动大数据产业健康快速发展，为建设数据强国提供有力支撑。
《行动纲要》对大数据产业发展的部署
（一）行动纲要的起草过程
中央和国务院高度重视信息技术产业的发展和其对经济转型升级的促进作用，今年已相继出台《中国制造2025》、《国务院关于促进云计算创新发展培育信息产业新业态的意见》、《国务院关于积极推进“互联网+”行动的指导意见》、《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》等文件，都将大数据作为作为支撑、引领各行业领域发展水平提升的重要抓手。
为促进大数据发展，加快建设数据强国，按照国务院的部署，2014年10月，国家发改委、工信部建立了联合工作机制，成立了起草组，启动了《行动纲要》的研究制定工作。起草组在贵州、广东、上海、湖北等地进行了大量的调查研究，委托中科院、工程院、国家信息中心、中国信息通信研究院、赛迪研究院等研究机构开展了专题研究，分类召开了10余次的部门、研究机构、专家和企业座谈会，专题听取了阿里巴巴、百度、腾讯等数十家的建议。2014年12月《国家大数据发展纲要》初稿成稿后，起草组又征求了47个有关部门的意见，经多次修改完善，形成了《国家大数据发展纲要》送审稿。2015年8月19日，总理主持召开国务院常务会议，审议通过了《关于促进大数据发展的行动纲要》；2015年8月31日，国务院正式印发了《关于促进大数据发展的行动纲要》，成为我国发展大数据产业的战略性指导文件。
（二）主要内容及对产业的部署
《行动纲要》的内容可以概括为“三位一体”，即围绕全面推动我国大数据发展和应用，加快建设数据强国这一总体目标，确定三大重点任务：一是加快政府数据开放共享，推动资源整合，提升治理能力；二是推动产业创新发展，培育新业态，助力经济转型。三是健全大数据安全保障体系，强化安全支撑，提高管理水平，促进健康发展。围绕这“三位一体”，具体明确了五大目标、七项措施、十大工程。并且据此细化分解出75项具体任务，确定了每项任务的具体责任部门和进度安排，确保行动纲要的落到和实施。
五个目标 一是打造精准治理、多方协作的社会治理新模式；二是建立运行平稳、安全高效的经济运行新机制；三是构建以人为本、惠及全民的民生服务新体系；四是开启大众创业、万众创新的创新驱动新格局；五是培育高端智能、新兴繁荣的产业发展新生态。
七项措施 完善组织实施机制、加快法规制度建设、健全市场发展机制、建立标准规范体系、加大财政金融支持、加快专业人才培养、促进国际交流合作。
十项工程 政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程、工业和新兴产业大数据工程、现代农业大数据工程、万众创新大数据工程、大数据关键技术及产品研发与产业化工程、大数据产业支撑能力提升工程、网络和大数据安全保障工程。
按照国务院的部署，我们工业和信息化部主要负责推动大数据产业发展，培育新兴业态，助力经济转型，包括推进大数据核心技术攻关、健全产品体系、完善产业链和发展环境，推进工业及新兴产业大数据应用，同时做好信息安全和规范管理等的相关工作。重点组织实施十大工程中的“大数据关键技术及产品研发与产业化工程”、“大数据产业支撑能力提升工程”“工业和新兴产业大数据工程”三项工程。
我部落实《行动纲要》支持大数据产业发展的主要考虑
《促进大数据发展行动纲要》为我国大数据的发展进行了顶层设计和统筹部署，工业和信息化部将按照国务院的部署，与发展改革委一起牵头，组织各部门、各地方全力做好《促进大数据发展行动纲要》的实施工作，重点抓好我国大数据技术和产业的创新和发展，提升大产业支撑能力，培育新业态新模式。主要从以下五个方面开展工作。
（一）支持大数据技术和产业创新发展。
我们正在制定《大数据产业“十三五”发展规划》，还将出台促进大数据产业发展的推进计划，统筹布局大数据技术和产业发展。促进规划、标准、技术、产业、安全、应用的协同发展，为《行动纲要》实施提供技术和产业支撑和保障。
组织实施“大数据关键技术及产品研发与产业化工程”，加强自主创新，通过相关项目和资金引导和支持关键技术产品研发及产业化；开发面向工业、电信、金融、交通、医疗等数据密集型行业的大数据应用解决方案；力争形成先进的技术体系、完善的产品体系和高效的应用服务体系。
（二）促进大数据与其他产业的融合发展，着力发展工业大数据，加强产业生态体系建设。
组织实施“工业和新兴产业大数据工程”，围绕落实《中国制造2025》，支持开发工业大数据解决方案，利用大数据培育发展制造业新业态，开展工业大数据创新应用试点。促进大数据、云计算、工业互联网、3D打印、个性化定制等的融合集成，推动制造模式变革和工业转型升级。围绕落实《国务院关于积极推进“互联网+”行动的指导意见》，以加快新一代信息技术与工业深度融合为主线，以实施“互联网+”制造业和“互联网+”中小微企业为重点，以高速宽带网络基础设施和大数据等信息技术产业为支撑，积极培育新技术、新产品、新业态、新模式。集中资源重点培育和扶持一批龙头骨干企业，鼓励中小企业特色发展。组织实施“大数据产业支撑能力提升工程”，建立和完善大数据产业公共服务支撑体系，加快培育自主产业生态体系。
（三）推动大数据标准体系建设
目前，我部已经指导全国信息技术标准化委员会组建由130余家单位构成的大数据标准工作组，组织起草了《大数据标准化白皮书》，制定大数据标准体系，已经开展数据质量、数据安全、数据开放共享和交易等方面的多项国家标准的立项和研制工作，同时还要积极参与ISO/IEC、ITU等国际标准制定工作，与国际同步发展。
（四）支持地方开展大数据产业发展和应用试点
目前，我们已支持和指导北京、上海、贵州、广州、陕西等地大数据产业和应用发展，这些地方先行先试，主动探索，已初见成效。如我们支持和批复贵阳・贵安大数据产业集聚区创建工作，在出台产业扶持政策、开展数据共享交易、法律法规等方面成效显著。授予陕西省西咸区创建软件和信息服务（大数据）示范基地，鼓励当地大数据产业创新发展。北京、上海、广东等地方政府在支持大数据产业和应用发展等方面均各具特色、走在全国前列。下一步，我们进一步动员和支持各地方、各行业、各部门开展大数据技术、产业、应用、政策等各方面的探索和实践，利用相关项目资金，引导和支持在重点地区和工业等重点行业开展应用示范，并总结经验、加快推广。
（五）加强大数据基础设施建设，探索和加强行业管理。
