大数据时代信息资源管理问题初探

大数据时代信息资源管理问题初探

摘要:

介绍了大数据的概念、特点,阐述大数据为信息资源管理带来的挑战,并就以上问题提出信息资源管理要顺应大数据潮流的相关建议。

关键词:

大数据;信息资源管理;问题

大数据成为近几年来的热点词汇,被认为未来能够给人们的工作和生活带来重大的变革。互联网领域的一些大企业,如:淘宝、谷歌等,都采取一系列措施来积极应对大数据时代的互联网发展的新方向。而大数据也广泛地应用到各行各业,比如:医疗、电子商务、汽车等,并且产生了积极的效果,这给很多企业带来了美好的前景,未来谁能够利用好大数据,谁就能在企业间激烈的竞争中获取优势。但是,在人们看到大数据带来的方便的同时,它所引发的一些问题也值得我们深思。怎么理解大数据,如何利用好大数据,这些问题还是值得我们探究。

1大数据概述

首先要认清大数据与海量数据的关系与区别。海量数据,顾名思义,就是指数据量的规模很大,仅仅是从数据量一个维度来定义。而大数据的概念包含了大数据的体积、传播速率、特征等多个维度,可以说大数据包含海量数据。由于大数据出现的时间较短,人们对它的研究还处于探索阶段,至今还没有统一的定义,但是一些非正式的定义也能够表达出其主要内容。比如麦肯锡公司对大数据的定义:大数据是通常无法在一定时间内用通常的软件工具进行收集、分析、管理的大量数据的集合。大数据的特点主要有4个方面:①数据总量大,目前大数据的最小单位一般被认为是10TB~20TB的量级;②数据类型多,包括了结构化、非结构化和半结构化数据;③数据的价值密度很低;④数据产生和处理的速度非常快。这4个特点又被称作大数据的4V理念,即:Volume,Variety,Value,Velocity。这些特定决定了在处理、存储大数据方面人们仍然是需要更多的投入。由于近几年来全球数据量激增,需要实时处理的数据由原来的以MB为基本单位转变为以GB,甚至是TB、PB为基本处理单位,其规模之大可见一斑,而且以前处理的数据结构以结构化数据为主,大数据时代数据类型复杂,包含了结构化、半结构化、非结构化数据。现有的处理工具也难以满足对于实时处理数据的需求,数据管理模式将面临着严峻的考验。

2大数据时代信息资源管理面临的困境

2.1大数据带来信息安全问题

自从人类进入信息时代,信息安全的问题就一直存在。而在大数据时代,社会信息量达到以往任何时候都无法相比的规模,现在每年产生的信息量比以往年代产生的信息量总和还要多。具有了这么多的信息,信息安全问题是大数据时代一个不可忽视的问题。

2.1.1大数据时代个人信息安全受到威胁。

在信息时代,不仅个人身份数据广泛存在于政府、银行、医院、学校等众多组织的电脑网络中,同时,我们每天上网浏览、搜索、社交、购物等行为数据,都存储在网络公司的服务器中。而我们上网注册的网站如淘宝、新浪微博,注册的时候我们都已经留下了个人信息。就连我们平时最常用的聊天工具微信、QQ等,我们的聊天记录都可以随时被别人窃取。虽然大多时候数据的提供者都将个人信息删除,但是出于大数据时代,个人信息还是可以被识别出来。这是因为我们每天上网都会留下自己的记录,还有就是从一些社交网站、电子商务能够挖掘出与个人相关的信息比如兴趣爱好。虽然将个人信息删除,但是通过大数据的关联分析,还是能够很准确地和我们的真实信息相关联,从而获取个人信息,个人的隐私权就受到侵害。大数据时代,政府拥有的信息量是个人、企业和其他机构组织无法相比的,政府信息资源的管理面对严峻的挑战。

2.1.2大数据时代信息资源面临被非法窃取的危险。

众所周知,微软在操作系统领域一直处于垄断地位,而我国绝大部分也都用的Windows操作系统。这些由微软开发的系统,可能就内置某些窃取程序,我们电脑里的大量信息,如:电子邮件、重要文件等都随时被微软获取。而一些重要的数据一旦泄露,特别是有关国家秘密的文件,带来的后果是不堪设想的,会给国家带来不可估量的损失。除了微软,只要我们使用其他国家制造的软件或其他设备,都有可能造成我们的信息泄露。“棱镜门”事件的出现,让世界人民为之震惊。斯诺登此前是一名美国情报局的雇员,他于2013年向英国《卫报》和美国《华盛顿邮报》透露美国绝密的电子监听计划,监测着全球许多国家,而且很多互联网大公司,如:微软、谷歌等,还向美国当局提供服务器后门,使美国情报局实时获得有关国家的大量数据。这些数据包括电子邮件、即时消息、视频、照片、存储数据、语音聊天、文件传输、视频会议、登录时间、社交网络资料的细节,其中包括2个秘密监视项目:①监视、监听民众电话的通话记录;②监视民众的网络活动。在窃听名单中,中国也位列其中。另外,从大数据的特点方面来说,数据量大,大数据便很可能成为黑客实施网络攻击的首要对象。另外,由于大数据规模很大,如果感染病毒,就会很快地将病毒传播下去,会给全人类造成十分严重的后果。但是总是有人为利益铤而走险,大数据时代也是众多利益集团争夺利益的时代,刚才提到的美国监听事件,不就是为了自己国家的利益,而不惜一切手段得到信息。在未来大数据的发展过程中,类似这样的事件肯定还会出现,所以说大数据时代是个不安全的时代,每个人随时都有可能被监听。大数据本身并没有错,但是如果被不法分子利用,就会造成很多损害。例如:美国密歇根州的一些警察,在大街上遇到漂亮的女性之后,跟踪并记录其车牌号,然后通过查询数据库获得该女性的住址等一系列详细信息。还有特拉华州某些政府官员将公民个人信息泄露、出卖给公司,让他们开发新顾客。

2.2大数据引发信息超载问题

大数据首先是海量数据,这个数量已经远远超过了人类历史数据的总和。如此多的数据,而人们真正需要的数据其实并不多,如何从海量数据中找到自己需要的数据却如大海捞针般困难。信息资源特别是网络信息资源,比如个人网络信息、网络实时监控等,这样的数据每天都会产生,而全球人口就有六十多亿,产生的数据量非常之多。而这些数据类型也不是以前只有结构化数据,现在产生的数据大多数是半结构化和非结构化数据,结构化数据只占了一少部分。所以说大数据给数据的存储带来了很大的挑战。大数据时代需要用特殊的数据库技术和数据存储设备,来存储非结构化数据和半结构化数据。以前的数据库的特点是数据统一性,存储大量的结构化数据,而其系统可用性较差,并且扩展性不好,不能对音频、视频等非结构化数据进行存储。在大数据时代,数据的增长大大超过了数据存储能力的增加,目前的数据存储设备远远不能满足对大数据存储的要求。另外,大数据时代对数据的分析,目前的分析工具也不能满足,主要是因为数据类型的复杂化和多样化。从数据库的观点看,挖掘算法的有效性和可伸缩性是实现数据挖掘的关键,而现有的算法往往适合常驻内存的小数据集,大型数据库中的数据可能无法同时导入内存,随着数据规模的不断增大,算法的效率逐渐成为数据分析流程的瓶颈。要想彻底改变被动局面,需要对现有架构、组织体系、资源配置和权力结构进行重组。

2.3大数据带来信息质量问题

大数据的一个特点就是数据量大,但是这就未必能够表示数据的价值量的增加,而且在很多情况下大部分数据都是无用的,也就是说大数据的价值密度低。现有的系统很难能够将大量的不同类型的数据融入其中,而且即使是将这些数据全部容纳其中,如果对这些数据不做任何的处理比如数据清洗,混在其中的那些没有价值的数据就会影响数据分析的过程,那么,得出的结果便不准确,大数据的优势就得不到体现。因此,必须对大数据分析之前进行数据清洗,而且清洗过程要十分小心,清洗的粒度过粗过细都会影响以后的数据分析过程。

3思考与对策

3.1加强有关大数据的法律法规建设

卡梅伦出任英国首相后,率先提出了“数据权”的概念,并将其视为信息时代每一个公民都拥有的一项基本权利。而此处提出的数据并不等同于信息,指的是由政府或其他机构产生的原始数据,并不是经过处理的数据形成的信息,这样能够使政府更加透明地运作,对防止政府工作人员腐败有极大的帮助。这给我们的启示就是要尽快加快有关大数据的法律建设。具体地就是由政府部门引导和规划大数据的发展,然后要通过行政体制逐级大数据的计划,并且在实施大数据计划的过程中制定相应大数据法律法规,明确规定各类大数据的保护等级和措施,切实保证大数据计划的顺利进行。同时要建立完善的监督机制,防止政府工作人员或其他人员在没有经过规定使用数据。

3.2增强数据的保护意识

对政府和企业来说,应当从技术方面加强网络软件和硬件的安全防护,减少系统和软件漏洞,以更好的抵御网络安全风险,同时应加强数据保护意识,加强内部监管,规范大数据的使用和流程,以防止数据泄露。对个人而言,应该尽量避免在网络上留下个人身份信息,同时应避免在网络上使用一些敏感词汇,以加强自我保护。加强个人信息保护,应该从自身做起,比如,在网上不要随意填写表格,应该选择安全防范能力较强的网站存储重要个人信息;在马路上接受市场调查,或者在商店里填写贵宾卡等时,要留个心眼,别随便将自己的资料泄露给他人。

3.3在技术上要能够自主创新突破

我国很多领域的核心技术都不是自主产权,在商业战争中处处受制于人。而国外大企业国要加大投入,自主研发,特别是在技术方面,要有所突破,避免过度依赖进口产品和技术,以免造成信息安全隐患。国家投资建设的通信网络应尽量使用国内软硬件产品,以增强通信网络的自主可控性,进而保障国家、企业和个人的信息安全。

4结束语

大数据时代的到来,给人们生活、工作和学习带来了新的变化。随着云计算、物联网等的发展,数据呈现爆炸式的增长,人们正被数据洪流所包围,大数据的时代已经到来。大数据在教育、医疗、汽车、服务性行业的应用所彰显的能量使企业、研究者对大数据的未来充满信心,但是在大数据过热的背后,希望人们能够多多思考一些问题,大数据的前景固然美好,但是不要忘了,问题也是伴随而来的,多思考大数据,或许对大数据的发展也大有裨益。

作者:宋腾飞 师慧 单位:黑龙江大学信息管理学院

[参考文献]

[1]吴勇毅.大数据“热”下的“冷”思考[N].中国冶金报,2012-12-01.

[2]刘德寰.大数据的风险和现存问题[J].广告大观,2013,(3):67~73.

[3]聂细文.大数据时代面临的统计挑战[N].中国信息报,2013-01-02.

[4]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].2013,(50):149~169.

[5]埃丝特•戴森.大数据利弊之辩[J].中国经济报告,2013,(6).

[6]卢朵宝.美国学者质疑“大数据”理论[N].经济参考报,2013-01-02.

[7]唐玮婕.“大数据”重新定义商业模式[N].文汇报,2013-01-06.

[8]郭涛.大数据时代成全了谁[N].中国计算机报,2011-11-02.

[9]张群英.争霸大数据时代网络世界[N].网络世界,2011-11-28.