前言:中文期刊网精心挑选了大数据时代数据的特点范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。

大数据时代数据的特点范文1
【关键词】大数据;信息安全;新特点;新要求
大数据是当今社会科技发展以及产业化发展的融合体,随着国际化进程的加剧,数据信息的数量、发展规模和流通速度都发生巨大变化,特别是与国际信息的联接与交互,对我国的外交、经济、军事、政治、文化等都产生深远影响,同时也给我国传统的信息安全管理带来了新的挑战,分析大数据时代的发展趋势对于探讨其特点和要求有重要意义。
一、大数据时展趋势探讨
大数据属于数据集合,其特点主要表现为:类型多、容量大、应用便利、存取便捷,其发展速度快且管理方法科学已经成为新一代最重要的信息技术。大数据背景下逐渐形成万物互联的发展趋势,这种模式促进了全球经济的发展,也使新的国际经济模式发展趋于网络化、数据化、智能化、共享化、便捷化、互联化,信息安全也随之进入到大数据时代。近年来,发达国家相继推出与大数据相关的国家发展战略,大数据已经成为经济发展和转型的新动力,并为国家发展带来了新的机遇和挑战。外国的大数据国家发展战略为我国发展大数据战略提供了借鉴经验,在2014年我国正式提出大数据行动纲领,2016年“十三五”期间,国家将发展大数据作为未来发展战略,更加明确其经济意义和战略意义。在大数据时代背景下,我国的信息安全管理工作也迎来了新的发展机遇,数据实现了线上线下、软件硬件、人与万物、政府与行业间的融合、分享、跨越以及渗透,实现了数据间的有效联接。但是伴随机遇而来的是挑战,大数据给信息安全带来发展的同时也使信息安全管理工作变得更为综合性、动态性、交织性、复杂性,使人们不得不对信息安全管理工作树立新的认知。
二、基于大数据时代背景下的信息安全新特点分析
大数据的特点与风险特点极为相像,大数据在发展过程中,给人们带来便利、驱动、转型、发现的同时,也给信息安全管理带来了风险和威胁,并且使信息安全在新形势下呈现出新的特点。与信息安全传统模式相比,大数据时代的信息安全其性质、内容、形态、空间、时间都发生一定变化,并且处于重构阶段,使信息安全管理呈现出综合安全、规模安全、跨域安全、泛在安全、隐形安全等特点。1.综合安全基于大数据背景下,信息安全使协同、整合、互联、交叉、共生、跨界、双赢、互动等发展成为大热词汇,大量数据信息正在向民生管理、城市建设、产业发展以及行政事务的方向发展,我国的信息安全也呈现出综合安全的新特点,如何坚持国家的综合安全观念,保证我国的人民安全、政治安全、经济安全、社会安全、文化安全、军事安全,并依托国际安全,形成具有中国特色的国家信息安全道路,成为我国目前探索综合安全发展的重点。2.规模安全万物互联是大数据时代的主要特征,促使其信息传播呈现出新的形态,实现了物与物之间的联接、物与人之间的联接、人与物之间的联接以及人与人之间的联接。随着互联网信息技术的发展,中国的网民数量急剧增加,截止到2015年我国的网民数量已经接近7亿,其网络活动的轨迹均被抓取并记录,数据概念已经渗透到各个领域和各个行业,为人类生产和生活提供数据参考。同时巨量的数据信息在数据中心的汇聚,使数据规模化风险加剧,并时刻威胁着个人的信息安全,例如:黑客盗取个人信息资料等。3.跨域安全随着经济全球化的发展,信息、人才、知识等都实现了跨区域传递和流通,这些新兴模式使我国的数据资料实现了国家间的互连互通,在增加信息交互便捷的同时信息安全的威胁也相应增加。针对跨境信息风险问题,需要国家及时建立跨境数据检测体系,控制和管理好国家的跨境数据传导,以实现国家信息安全。4.泛在安全在大数据发展中,由于网络的便利性使得信息资料可以快速的渗透到各个领域内,且实现了跨国家、跨行业、跨部门,并体现出即时性特点,信息流快速且隐蔽流动,渗透面积强且影响广泛。笔者认为计算机信息管理已经从静态管理模式转变为动态管理模式,并且管理时间要求也更为严格。5.隐性安全基于大数据背景下的信息安全主要表现有以下几点:其一,数据信息呈现出泛滥和冗余的特点,造成“脏数据”过量,导致有价值的信息被淹没,需要加强数据管理和控制,才能保证有价值信息能够被及时挖掘,保证其价值发挥。其二,跨境互联使信息质量产生变化,在进行信息管理中需要进行深度挖掘,以便实现深度分析。其三,移动信息技术改变了传统的点对面的传播方式,实现了点对点以及圈对圈的新型传播,其隐蔽性良好同时也带来了新的信息安全挑战。其四,基于大数据视角下的新型线上业务中,存在不法分子线上犯罪现象,由于线上犯罪隐蔽性强,危害性也就更大。
三、基于大数据时代背景下的信息安全新要求分析
(一)管理模式新要求
基于大数据背景下的信息安全管理,要求国家在创新要求的驱动下明确总体安全的理念。在体制上,改变单打独斗的方式形成新的协同作战方式;在技术上,改变以往核心技术依赖于进口的局面,加大科技研发力度,实现核心技术自我开发能力;在机制上,将静态管理手段转变为动态管理方式;在方法上,改变经验为主的管理方法形成预防、应对、弥补的管理线路;在传递方式上,改变传统的垂直传递方法,形成扁平式传递路径;在人才选拔上,改变了传统的选拔机制,更注重人才的综合素质、专业能力、创新能力。
(二)管理路径新要求
大数据的发展是一把双刃剑,在给人们带来信息便利的同时还带来了众多的虚假信息以及信息垃圾。为了有效的利用大数据,需要加大数据管控能力,特别是需要进行分布式进行数据观察,以达到数据信息的合理利用。大数据在发展过程中还存在不完善之处,经常有不法分子利用网络进行谣言传播以及煽动是非,造成网民认知混乱,对数据分析缺乏理性。因此,在信息管理工作中要注意科学进行信息管理,做好信息去伪存真工作,还原良好的大数据环境。
(三)管理政策新要求
根据大数据发展特点以及信息安全发展规律,国家机关要及时的进行数据法制化管理,保证我国的数据信息发展可以有法可依,有章可循。采取统一管理方法,在信息开放的环境下实现有效管理,改变以往信息网络各自为政的现象,通过整合优化实现数据信息价值的扩大,以确保将信息风险降到最低,在网络信息快速发展的今天,通过有效的法律保障,将个人信息风险最大限度降低,既保证信息流动自由,又保证建立完善的法律保障体系。
四、结语
大数据时代数据的特点范文2
关键词:大数据时代;计算机;信息处理技术
引言
在网络化技术的不断普及中,计算机用户群体的数量也随之不断的增加,这种情况的出现导致计算机在运行的过程中不断的产生大量的数据,促使大数据时代的到来。面对这一发展环境,计算机信息处理技术的发展也显得越来越重要,并向计算机的数据处理能力提出了更高的要求,此时,要想让计算机信息处理技术的发展更好的满足大数据时代的信息处理要求,还需加强对计算机信息处理技术能力的研究,在不断的探索和创新中提升技术水平,促使大数据时代的计算机信息处理技术能够得到更高层次的发展。
1 大数据时代和计算机信息处理技术的相关概念
1.1 大数据时代的相关概念
从大数据的概念出发,所谓大数据就是指数据量非常庞大的数据,它不仅局限在数据信息量的巨大上,还表现在数据信息的复杂化、重复化,以及产生信息的多样化中。现如今,社会虚拟数据化正处于一个快速而不断发展的阶段,在这种社会环境下,大数据的产生是必然的,并显示着比传统计算更多的优势,如低廉的成本、高比率的资源利用率、较快的运算速度等,并在这种庞大的大数据量中显示着各种数据之间复杂的关系。社会生活和生产中,面对各种活动所产生的数据,通过大数据能有效的做好记录与存档,极大的方便了人们在生活和生产中对庞大信息数据的检索和应用。同时,大数据还具有超前的洞察能力和决策能力,数据处理能力是传统数据软件所不能企及的,对人们的生活习惯产生变革性的影响。
1.2 计算机信息处理技术的相关概念
自计算机在人们的生活和工作中得以应用之后,计算机信息处理技术就在现代办公和企业管理中呈现着一个非常重要的角色,通过计算机信息处理技术,它将数据传输、信息的分析、处理和使用等各种技术结合在一起,极大的便利了数量信息的管理效率。同时,计算机信息处理技术所涉及的领域也比较多。在技术的应用中,它以计算机技术为核心,将传感、微电子、网络工程、通信工程等各种先进的科学技术都进行了综合应用,促使员工在专业社会的协助下,能够将人、软件、硬件进行有机结合,不仅促进着人们工作安排的合理性,还促使着人们办公效率的提升。
2 大数据时代下的计算机信息处理技术分析
2.1 信息的采集与加工技术
大数据来源丰富多样,需要挖掘、分析和存储的数据量异常庞大,要提升计算机信息数据处理的高效性和可用性,需加大对计算机信息采集和加工技术的研究。传统的数据处理方式是以处理器为中心的,这种数据处理方式已经不适用大数据处理,需采取以数据为中心的模式,采取新的处理软件和处理技术,来减少数据处理中因数据移动所带来的开销。
大数据时代计算机信息采集和加工过程中,数据处理速度的提升至关重要,这一需求的实现可通过MapReduce技术。MapReduce是一种并行处理技术,将大量数据处理任务并行分配到多台连接的服务器进行处理,扩展性强,尤其适合非结构化复杂数据的混合海量处理。作为一套软件框架,MapReduce以先分后和的数据处理方式为工作原理,分为Map映射和Reduce化简两阶段,Map将海量数据进行分割,交由多台服务器并行处理;Reduce将各处理结果进行汇总,得到最终效果。在对海量数据信息进行分隔、任务分解和结果汇总中,实现着海量数据信息的并行处理。
大数据时代,计算机信息采集和加工技术中新方法的应用是多方面的,并体现在不同的信息处理需求中。(1)系统日志采集方法:很多互联网企业用如Hadoop的Chukwa,Cloudera的Flume,Facebook的Scribe等这些分布式架构工具对系统日志进行采集,每秒采集传输速率达百MB。(2)网络数据采集方法:这种数据采集方法主要应用在非结构化数据的采集中,以网络数据采集的模式而言,它主要是通过网络爬虫和网站公开API的方式,从网站中将数据、文字、图片、音频、视频等多种文件或附件等非结构化数据转换成结构化数据并存储在一个统一的本地数据文件中。(3)其他数据采取方法:一般情况下,企业生产经营中的数据和学科研究重点数据,在保密性的要求上比较高,针对这类数据的处理和加工,可采取企业或研究机构合作的方式,采取特定的系统接口展开信息数据的采集和加工。
2.2 信息的存储技术
计算机网络信息中,不仅有很多数据文字信息,还有视频、图片等大量信息,数据种类在网络的高度普及中呈现着一种日益丰富、数量急剧增加的趋势,而这一趋势的展现更是让数据的存储更加凸显。一般情况下,针对一些大众化的存储需求,常规计算机就能满足,但针对大数据时代的庞大数量,计算机的存储能力还需更强。大数据存储中,若采取常规数据存储技术这会导致资源消耗问题的发生,因此,还需从大数据的基本特点出发,采取最新的存储手段,以保证大数据信息存储中的真实性、可靠性和快捷性,而在这些需求的支配下,云技术应运而生。就这一技术而言,它能够存储运行多种信息数据,并且能够在功能齐全服务器的帮助下对数据信息进行有效的处理,有效解决了原有信息存储技术运行低下、速度缓慢的问题,还能将所得数据信息结构映射到使用者中,明显提升着数据存储的效率。
2.3 信息安全技术
在大数据的到来中,人们不仅感受到了计算机信息处理技术给人们生活和工作所带来的便捷性,还提升了人们对数据信息安全重要性的认知,就大数据时代信息安全性和可靠性的提升而言,其可以通过以下几个方面展开。(1)建立计算机信息安全体系,加大资金投入,注重对专业技术人才的培养力度,以人才为支撑,为计算机安全体系的发展奠定坚实的技术基础。(2)加大计算机信息安全技术产品研究和开发力度,面对传统信息安全技术无法更好满足大数据时代数据安全需求的情况,相关行业需要加大研究力度,寻找更好的解决方案,尽快改善信息数据运行中所存在的安全问题,有效避免数据信息受到威胁。(3)加强对重要数据的检测程度,面对大数据时代数据量较为庞大这一突出性的特点,为了更好的提升数据安全系数,实现对每一个数据的检测,需加强对重点数据信息的检测力度,全面保证数据信息的安全性,促使大数据时代计算机信息安全技术的不断发展和进步。
3 结束语
综上所述,大数据时代的到来给计算机信息处理技术带来机遇的同时也迎来了挑战,而随着计算机信息处理技术在社会中应用广泛性的提升,其技术的创新也被赋予了新的时代使命。在未来的发展中,面对大数据时代数据信息量的庞大和快速变化性,要想更好的满足用户的需求,适应适合的发展需求,还需加强对计算机信息处理技术未来发展前景和需求的研究,不断的完善不足之处,这样才能促进计算机信息处理技术应用层次的更高提升。
参考文献
[1]于沙.分析大数据时代计算机信息处理技术[J].电子测试,2015,1(12):20-21.
大数据时代数据的特点范文3
4月22日,以“大数据重构企业智慧”为主题的浪潮2014新财年企业信息化战略会在北京召开。浪潮集团执行总裁王兴山详细介绍了浪潮新财年企业信息化战略――发展2大平台软件、提升5大应用产品、深化10个优势行业、推动100家大企业云落地、聚合1000家合作伙伴,以新思维、新工具、新方法帮助企业用户用大数据重构企业智慧,推动企业转型升级。
“大数据正在重构企业智慧,推动企业转型升级。大数据时代下的企业信息化架构强调云计算、大数据、社交网络和移动应用,企业正在用新技术不断颠覆传统企业的运营模式,帮助企业实现差异化创新。”王兴山认为,“在变革时代,需求和技术驱动着中国管理软件产业的快速发展。与此同时,国产化的春天也给管理软件产业带来了巨大的发展机遇。”
为此浪潮推出了全新的企业信息化新战略。一是,发挥技术优势,加强平台研发投入,重点发展企业云应用平台GSP+和大数据服务平台IOP。二是,面向管理创新和新IT融合需求,围绕管理会计、财务共享服务、电子采购、数据商业分析、移动应用5大热点领域,提升浪潮GS、HCM、CRM、BA、PS全线管理软件产品。三是,推动浪潮解决方案在军工、建筑、制药、储备、快消品、装备制造、采掘、船舶、化工、交通10大行业的深度应用,实施100家企业数据整合业务,全面推动企业管理升级。四是,基于浪潮第四代数据中心平台,按照浪潮企业云落地路线图,重点发展企业托管云与大数据整合服务,同时发展以CRM、SRM、HCM、数据分析服务为重点的公有云服务,2014年推动100家企业云落地。最后,进一步加强区域本地化建设,浪潮计划2014重点发展1000家合作伙伴,提升面向客户的本地化、专业化服务能力建设。
“浪潮通过自建数据中心、软件平台为客户提供大数据解决方案,企业用户可以利用浪潮企业云平台(GSP+)重构传统应用,实现应用集成及与电商、社交平台对接;在浪潮BA基础上利用大数据平台实现数据整合,建立创新应用;再建立自主商城,借助社交商务实现全渠道协同。”王兴山在接受采访时说。
大数据时代数据的特点范文4
从流程中心论到数据中心论
完善数据管理和服务产品家族
张建设:构建安全可信的信息消费环境是促进信息消费、推进工业化和信息化深度融合的重要举措。作为国产数据库的骨干企业,人大金仓为两化融合做了哪些具体工作?
任永杰:我认为,信息消费包括信息系统和信息安全两个层面。无论在哪个层面,数据库管理系统都是基础,因为任何一个信息系统都需要架构在数据管理系统之上。而人大金仓从一开始就定位于数据领域,虽然企业规模较小,产品却是核心关键产品。
这两年,人大金仓取得的成绩还是很突出的。金仓数据库产品有在国家电网、金审二期等的关键业务应用,有在政府、国防领域的规模化应用,还有在银行、电信、保险等重点行业的新突破。我们曾经统计过,人大金仓产品在各个领域的销售量已超过35万套。
张建设:人大金仓的产品和解决方案得到了政府、国防、金融、电信和电力等重点行业的认可,这些行业也是率先涉足大数据、云计算的行业,他们的需求对人大金仓提出了哪些新的挑战?
任永杰:在与这些行业合作的过程中,我们关注到它们在云计算、大数据方面的新需求,对我们的产品和服务也提出了新的要求。为此,我们确立了致力成为数据管理和服务提供者的经营策略。
面向大数据,我们整合了包括HDFS、Hbase、Map/Reduce、Zookeeper、Hive等核心项目在内的Hadoop技术,提供超大规模并行计算集群能力,能够轻松构建PB级海量数据管理平台。
面向云计算,我们采用SOA架构,能够快速帮助企业构建私有云。同时,我们能够提供包括资源管理、质量管理、生命周期管理、安全认证管理等在内的云服务。面向OLTP+OLAP混合型应用场景,我们可以为新一代数据中心提供云服务支持。
此外,我们还可以提供支持物联网业务的高性能数据存储与管理、数据获取与洞察服务。
张建设:大数据被视为连接虚拟世界和现实世界的桥梁,云计算被视为大数据落地的重要业务模式。人大金仓在大数据、云计算领域有哪些具体举措?
任永杰:从应用的角度讲,过去依赖流程来做管理和决策,未来将依赖跨部门、跨领域的数据来做决策。原来的数据中心可能有几台、几十台主机,云计算时代数据中心将有成千上万台主机,而且有海量的数据需要管理。为此,人大金仓规划并研发了集数据存储与管理、数据分析与集成、数据展现与移动化于一体的产品家族,能够为客户提供一站式的大数据产品、解决方案和服务。
我们研发了下一代数据库,计划今年年底推出具体的产品和服务。下一代数据库具有高度可扩展性、高可用和高性能的特点,既能处理结构化数据,也能处理半结构化、非结构化数据。
从差异化竞争到平台制胜
呼吁构建软件产业生态圈
张建设:就技术发展史而言,技术层面的冯·诺依曼计算机和关系型数据库,对应着科学层面的图灵模型和关系模型,云计算和大数据又将给科学和应用带来哪些影响呢?
任永杰:我认为,关系型数据库一直没有解决或者没有很好地解决的问题就是分布式计算,这也是我们下一代数据库要解决的难题。
在这方面,我们很自信,无论概念如何层出不穷,一脉相承的一直是关系型数据库。在过去的30年中,出现过诸如对象数据库、对象关系型数据库等技术,但是关系型数据库一直是主流。因为关系型数据库有完善的理论基础和广泛的产业技术,而且是一项不断创新和发展的科学。
张建设:对于中小企业来说,您觉得有多大机会应用到大数据?
任永杰:单个中小企业其实自身不具备管理和使用大数据的能力。因为不管是数据采集、分析还是洞察,都需要很大的资源投入。当然,中小企业可以利用第三方的大数据服务。
张建设:就目前来看,真正力推云计算和大数据的是Oracle、IBM、EMC等,对于国产数据库企业来说,大数据带来的机遇和挑战是什么?
任永杰:现阶段来看,大数据给予国内软件企业的机会很少。当然,大数据有可能会带来应用层面的颠覆性创新,我们的企业应该有很多机会。
在云计算和大数据领域,几家国外大型厂商走的都是垂直整合的路线,提供的是一体化平台和一体化解决方案。而我们的企业通常专注于某一项产品和技术,缺乏竞争力。拥有单个产品和工具,可以为客户提供特色服务,可能构成企业一定的差异化优势。但是,在平台竞争的时代,差异化优势是微不足道的。因此,我们建议产业链上下游企业、价值链关联企业加强合作,以开源、开放的方式,打造一个多方参与的数据管理平台。目前,我们在数据存储管理方面就积极主动地开放我们的技术,希望更多的企业一起合作,形成合力。
张建设:这是不是意味着人大金仓将推进同行之间的合作和联盟?
任永杰:联合、联盟和合作将是毫无疑问的选择,我们甚至去寻找资本层面的合作机会。未来以产业生态圈的方式为客户提供服务,共同努力解决社会问题。在这其中,人大金仓就是要做数据管理和服务提供商。
从受制于人到自主可控
我们需要坚定的决心、信心和耐心
张建设:在“棱镜门”事件之后,人们对信息安全、自主可控提出了更高的要求,甚至个别企业和用户提出了“去思科化运动”。您如何看待这一现象?您觉得人大金仓的责任和使命是什么?
任永杰:“棱镜门”事件只不过是证实了我们过去的猜测和担忧。接下来我们该怎么办呢?首先,我们必须把信息安全、信息的自主可控放在一个非常重要的位置,要从国家战略层面考虑信息安全。其次,所有企业都应该认识到自身的责任和使命。作为企业的经营者,我们要反问自己,如果不采用这些国外的产品和技术,我们还有没有别的选择?第三,也是最重要的,信息化是不可逆的。任何一个新产品和新技术都是在既有产品和技术上发展起来的,任何一套信息化应用系统的升级和更新,都不可避免地建构在现有信息化基础之上。
我们的KingbaseES产品就提供了强大的数据迁移工具,针对Oracle、DB2、SQLServer、Sybase等为代表的国际主流数据库产品,在服务器、结构、工具等各组件中全面改进了兼容性,屏蔽了KingbaseES与这些产品之间的差异。这样的设计减少了现有应用和新应用开发的成本,降低了数据库系统管理员、应用开发人员等学习和使用KingbaseES的难度。
张建设:作为一家具有央企背景的国产数据库企业负责人,对于如何摆脱受制于人的现状,如何实现自主可控的技术创新,您有什么见解?
任永杰:十余年来,人大金仓一直坚持自主创新之路,一直把技术研发放在首要位置。特别是,在牵头承担“核高基”重大科技专项的过程中,我们的研发团队得到了锻炼,研发能力得到了提升,技术积累更加深厚。摆脱受制于人的困境,必须发展自主可控技术。
首先,我们要有坚定的决心。我们必须做自主研发,也要坚决地支持自主研发的产品。这是我们必然的选择,必须将它上升到企业和用户的核心观念层面。
其次,我们要有坚定的信心。我曾经看到一组数据,我们软件行业综合排名前50名的企业累计研发经费还不及IBM一家。在这种情况下,我们不仅要比别的企业更加努力,而且要用好开源这个庞大的资源,群策群力,发挥协同效应。
最后,我们还需要足够的耐心。无论是技术积累和产品成熟度,还是品牌影响力,我们还有很大差距。我们需要以足够的耐心鼓励技术研发,对认可的研发方向要坚定不移地做下去,建议行业主管部门和重点用户,以足够的耐心支持和采用自主研发的产品。特别是在一些重大专项上,建议行业部门给予持续的、配套的支持,避免计划和规划过多的变动。
大数据时代数据的特点范文5
[关键词]大数据;图书馆;数据处理
doi:10.3969/j.issn.1673 - 0194.2015.18.142
[中图分类号]G250.7 [文献标识码]A [文章编号]1673-0194(2015)18-0-01
1 大数据概述
作为当前的热门话题之一,大数据(Big Data)已逐步成为国家和政府层面的发展战略。这一概念最初是2011年由美国麦肯锡咨询公司提出,认为当前数据已经在各个行业进行渗透,发展为重要的生产因素,预示着将来迎来新一波生产率增长和消费者盈余。此后,大量学者对大数据进行定义,但至今未能达成统一。当前各界对大数据的共识是:大数据的“大”不仅仅强调海量,事实上,其属性还包括复杂化、多样化、具体价值化。在此基础上,互联网数据中心将大数据的特性概括为种类多、流量大、容量大、价值高四个方面。从这个意义上讲,可将其中隐藏的大数据理念概括为:大数据时代信息界主要业务是深层分析数据及挖掘价值、数据形态多样化且极具价值、数据处理会促使新的产业形成。
大数据在各领域的发展中有着重要价值,就图书馆而言,当前如何采取积极采取措施在制定图书馆发展策略、拓展业务转型等方面充分利用大数据技术,已成为图书馆行业层面的战略课题。另外,大数据还会带来思维范式的变革,便于图书馆行业对当下和未来进行掌控。图书馆利用大数据的思维看待数据资源,能更为准确地察觉读者信息需求变化,协助图书馆改变管理模式,提升服务质量。
2 大数据时代背景下图书馆发展面临的机遇
2.1 丰富了图书馆的信息资源
大数据时代,数字出版业务应用越来越广泛,网络信息越来越丰富,电子资源呈现快速增长趋势,这都极大丰富了图书馆的信息资源。根据相关调查研究显示,国家图书馆数字资源发展到2012年为止,总量已达到813.5 TB,且呈现持续攀升趋势,当前全球信息总量平均每3年便翻一番,而其中以数据形式储存的信息占90%。从这个意义上来看,不管是在种类还是数量上,数字资源都逐渐超越了纸质馆藏资源。一方面对馆藏资源广度和深度进行拓展,另一方面,还从视觉、听觉、感官等多个方面来赋予读者丰富的感受。
2.2 提升了图书馆数据采集、分析、处理技术
大数据时代伴随着各种先进网络技术的提升,其在图书馆中越来越广泛的应用,极大便利了图书馆的数据采集、分析、处理等。比如二维码技术、无线射频识别技术等,便于图书馆对数据信息进行采集、处理,深化拓展自身服务,提升服务水平。
2.3 便捷了图书馆的信息服务
在大数据时代背景下,其所带来的大规模数据处理、数据分析及资源整合等,都促使图书馆信息服务模式面临前所未有的变革。图书馆的数据基础有着种类多、速度快、容量大、价值高等特点,可在图书馆内部构件新型的信息服务引擎。一方面更加便捷读者进行信息检索,帮助其更为变快速方便地查询到自己需要的文献资料,提升资源搜索和利用效率。另一方面,还能从技术层面提供深入开发的条件。
2.4 增加了图书馆读者体验
大数据时代,图书馆能利用数据自动归纳和分析读者信息,更好进行用户研究及交互数据利用,完善读者跟踪服务、科研专业服务、知识关联服务等,提升服务质量,开展个性化服务,使读者感受到个性化体验,促使图书馆从以往的以资源为核心,转变为以读者为核心。
3 大数据时代背景下图书馆发展面临的挑战
3.1 增加了数据处理难度
大数据时代数据呈现出种类多、速度快、容量大、价值高等特点,且随着多样化的数据生成方式的形成,数据类型也越来越复杂。相关研究显示,当前非结构化数据已超过80%,相较于传统的结构化数据而言,其无用信息量增加,组织相对凌乱,因此,图书馆面临的一大问题就是如何从大数据中采集分析并向读者推送有潜在价值的数据。而这一问题实现的关键,是强大的软硬件支持。部分图书馆资金匮乏,并未构建能适应大数据的软硬件设施,技术落后,数据查询及分析能力低,不能满足要求。因此,新时期,图书馆必须加强软硬件基础设施建设,提升技术水平和数据处理效率。
3.2 增加了网络构架要求
多数图书馆仍采用传统的垂直网络架构,即由读者端向服务器发出检索或查询请求,由服务器将相关结果直接发送给读者。这种架构虽然取得了一定成效,但在应对大数据时代种类更多、容量更大的数据资源时就显得力不从心,逐渐被水平的横向请求取代。一旦读者发挥相关服务请求,各个服务器之间快速进行信息传递与交换,及时将数据处理结果返回给读者。因此大数据时代背景下,传统垂直网络结构已不能满足需求,这就要求图书馆加强网络构架的革新和改进,建立新型知识服务引擎,形成更为灵活、智能、交互的信息资源组合方式,提升图书馆服务质量。
3.3 增加了专业人才需求
大数据对专业人才的要求更高。但是当前全球的大数据人才均处于紧缺状态,我国尤为严重。现阶段,我国多数图书馆工作人员在理论认识和技术实践上都存在很多问题,阻碍了图书馆的进一步发展。因此,新时期,图书馆必须重视对大数据专业人才的培养和引进,加强对现有馆员的大数据知识宣传及教育培训,夯实人才基础,积极应对大数据带来的挑战。
4 结 语
大数据时代不仅给图书馆行业带来发展的机遇,还带来一系列挑战。新时期,图书馆必须积极迎接机遇,应对挑战,加强基础设施、专业人才等方面建设,提升图书馆管理服务水平,提升核心竞争力。
大数据时代数据的特点范文6
关键词:大数据时代;大数据;统计学;
一、大数据与统计学
(一)大数据与统计学关系密切
简单来说,我们可以分为两个方面来理解大数据:若“大数据”作为形容词,则描述的是大数据时代数据的特点;若“大数据”作为名词,则体现的是数据科学研究的对象。对大数据的定义有非常多,不同领域不同专业对大数据的界定都会有些许不同。通俗地说:大数据是目前人类所有可抓取、可记录、可存储的信号集合。这个包含了一切信号的集合将非常非常之庞大、多样、繁杂,并且还在不停地、迅速地增加。现代互联网和信息技术的飞速发展,使得人类开始有能力收集、储存、分析、处理这些从前无能为力的数据,从中挖掘出有用的信息促进社会的发展。迈尔•舍恩伯格说:大数据发展的核心动力就是人类测量、记录和分析世界的渴望。而统计学正好是收集、整理、分析、解释数据并从数据中得出结论的科学。由此可见大数据与统计学关系密切,将大数据与统计学结合发展潜力无穷。
(二)大数据时代下的非结构化数据与结构化数据需整合
对接统计研究可根据自身的目的收集总体数据或样本数据,但如果总体太过庞大,以过去的技术方法来收集总体数据成本会很高,受于限制统计研究更多收集得是样本数据。如今,人类已经开始能够在合适的成本下获得大数据,大数据的广博给统计研究带来了新的发展方向。我们需要着重研究的一个方向就是如何将结构化数据和非结构化数据对接。大数据的核心是数据,统计学的研究对象也是数据,但是它们获得的数据性质有所不同:大数据收集的多是半结构化和非结构化的数据,通俗地理解,先获得数据,再整理结构(如声音、图片、视频等信息);传统统计学收集则主要是结构化数据,先定好结构,再根据目标结构收集数据(如数字、符号等信息)。拿非结构化数据和结构化数据来说:大数据时代使得我们有更多可以分析利用的数据,使得统计研究不仅可以在有更多的结构化数据的情形下进行;对于一些领域的研究工作还可以设法将非结构化数据和结构化的数据结合起来分析。如何实现非结构化数据与结构化数据的结合?首先,完善非结构化数据的整合,然后我们可以用结构化数据做数量说明,非结构化数据加强描述;或是提高数据处理技术,实现结构化数据与非结构化数据的互相转化,选择能更好说明问题的数据形式作为后续分析基础。这都是值得再深入思考研究的新问题,而且这不仅仅是大数据和统计研究的事,同时需要计算机技术的一同创新发展。统计研究的范围在大数据时代越来越大,能用数据说明的问题越来越多。
(三)大数据时代下的相关分析与因果分析发展并重
《大数据时代》一书中表示:大数据时代的一个显著变化是:相关分析比因果分析更重要。我的看法是:大数据时代下,市场确实会对相关分析有着更强的关注度,但这并不意味着因果分析的重要性会有褪色。统计学中既有相关分析,也有因果分析,要对它们有合理的了解,首先需要明确的是相关关系和因果关系之间的联系,简单说:有相关关系不一定有因果关系,有因果关系则一定有相关关系。大数据时代,相关关系变得比以前更加为人所关注的原因:一方面,在很多领域的应用里,相关分析比因果分析更简单可行;另一方面,因为相关关系足以体现事物之间的一定联系,在商业效益上更为经济有效。因此在商业利润的推动下,相关关系也会更加受到青睐。但是我们不能就此否定因果关系的重要性,因果关系是对数据更加深度地分析:相关关系让我们知道了“是什么”,因果关系是让我们知道了“为什么”。倘若只是在商业经济上的利用和成本考虑,“是什么”在很多时候就以足够;但如果是在科学研究领域,“知其然而不知其所以然”就远远不够了。结合现实发展需要,可在分析确定相关关系后,根据情况研究因果关系,若能够得出因果关系,那肯定是更具价值和意义的。探求“为什么”始终是人类探索世界的动力,因果分析是人类永恒的使命。
二、结语
大数据时代的到来几乎对每个领域都有着不可忽视的影响。大数据与统计学关系密切,大数据的出现对统计学的意义是非凡的,我们应把握住大数据时代和统计学的可结合点。其一,完善非结构化数据的整合,深入研究如何实现非现结构化与结构化数据的对接,都需要我们思维上的创新、数据处理技术上的提高。其二,在注重相关分析的同时,不能丢掉对因果分析的研究,应合理并重,实现大数据的进一步利用,真正挖掘出数据的价值。对于以数据为研究对象的统计学科,大数据时代就是统计学变革创新的时代,统计研究工作人员也应把握机会思考创新,为统计学增添新的生命力。
参考文献:
[1]朱建平,张悦涵.大数据时代对传统统计学变革的思考[J].统计研究,2016(02):3-9.
[2]朱建平,章贵军,刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究,2014(02):10-19.