前言:中文期刊网精心挑选了大数据时代分析范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。

大数据时代分析范文1
关键词:大数据;计算机;数据备份;安全保障
中图分类号:TP311
文献标识码:A
文章编号:1009-3044(2017)10-0025-01
数据信息作为时代的信息管理标志其安全性必须收到更大的重视,数据信息的安全存储系统尤为重要,防止信息数据的丢失的管理备份系统更为重要。因此能够将数据信息妥善管理,保证其正常工作的技术相当重要,但当数据真正丢失或不可避免地出现问题以后能够尽快地将其找回或者是在有效的时间内将其完整地恢复,以确保整个计算机系统能够正常工作的技术更是必不可少的。
1.数据备份概念及其特点
数据备份指的是将计算机系统的所有数据或者是部分重要数据借助某一种或多种手段从计算机一个系统复制到另一个系统,或者是从本地计算机存储系统中复制到其他的存储系统中。其目的就是保障系统可用或者是数据安全。防止由于人为的失误或者是系统故障问题亦或是自然灾害等方面的原因造成系统数据的安全性无法保障的问题。数据备份更重要的原因是数据信息的多重保存以备不时之需。
数据备份按照备份的实现方式可以分为单机和网络两种备份方式,传统的备份就是单机备份针对计算机本身将数据进行异地存储,现代比较流行的就是网络备份。这是针对整个网络而言的,这种方式的备份较为复杂,是通过网络备份软件对存储介质和基础硬件存储设备的数据进行保存和管理。由于网络备份是在网络中进行数据备份的,因此也就不同于普通的传统单机备份,是包含需要备份的文件数据和网络系统中使用到的应用程序以及系统参数和数据库等内容的。
数据备份的作用在于:一方面,在数据受到损害时对数据进行还原和恢复;另一方面,数据信息的历史性、长久保存,方便数据的归档。
2.数据备份存储技术
备份换言之就是数据的再存储,因此备份技术是存储技术的重要内容之一,但是数据备份存储作为计算机系统技术与简单的备份区别很大。计算机数据备份存储技术时更为全面、完整、稳定安全的数据信息的备份,是网络系统高效数据存储的,也是安全性较高的网络备份。
文件存储作为最基础的数据类型是随机存储在硬盘上的数据片段和文档资料,这些存储的数据文档、报表甚至是作为数据库文件的应用程序等等在存储一定的量就会出现超出容量的情况因此对其的整合是必要的。这样的整合是将存储的各类数据或者是数据库以一个顺序和程序的形式出现,帮助人们解决备份存储的空间问题,技术问题以及成本问题。更能将工作人员的连续数据维护和监控从繁重的工作中解放出来。
3.保障计算机数据网络备份的安全性策略
通过网络传输的备份数据在传输过程和传输路径方面必须确保数据的安全性。若不能保证数据的安全那么一些企业的关键数据和重要应用程序就会受损,甚至是失去了备份的意义。因此相比单机备份而言网络备份更要确保安全传输和安全存储。
首先确保备份数据的机密性。数据信息的网络备份不能被非法用户随意获得,因此在数据备份过程和传输过程中必须防止数据的机密性被破坏。一般数据备份常用的方法是加密。必须保证是数据拥有者才能使用这些数据信息,关键的数据信息的加密工作相比更加严格。数据内容不容有失,甚至是数据的相关名称和代码等也不能随便被非法进入系统的人获得才是最能保障数据安全的方式。
此外,在数据网络传输存储之前一定要确认接受信息一方的真实性,核实双方信息是否匹配,一定要在双方身份确认之后才能对网络的数据信息进行发送和接受,这样既避免了欺诈行为又确保了网络中间不可信的因素存在使数据信息遭到破坏。
其次。确保备份数据的完整性。数据备份存储不是一个简单的过程,数据信息是通过设备和网络之间传输来完成备份数据存储的。这一个成必须要保障所传输的信息完整地被上传而且这些数据信息不能被其他方拦截和篡改,以破坏备份数据信息的内容和属性等。此外在存储时也要保障数据信息的正确无误完整保存。
再次,备份存储的数据可用性。数据存储必须是可用的,而且是计算机资源用户合理合法的使用。对于网络备份系统的信息和信息用户系统的信息是完全一致的,是可用的。备份数据资料必须在合法用户需要时可以随时安全使用。这是网络数据备份存储必须保证的。
大数据时代分析范文2
数字广告的大数据时代是什么样的?
谁都知道互联网是如何改变媒体的,而媒体内容的移动化也并不是那么难以理解。但对于媒体的商业模式演变,却鲜为人知。在大部分人的观念中,从互联网广告到移动互联网广告,和最原始的报纸开天窗登广告,也没有太大区别。
但事实并非如此。
在最初所有媒体内容被数字化,通过网页呈现给读者时,广告内容、方式和监控方式也都数字化了,这带来了广告业对于投放效果考核的革命——这是大家所熟知的。
但随后这种数字化的变革给了IT行业巨大的机会,而他们也就此介入并改造了广告业——这与消费者就比较远了,甚至于有许多广告主也未必弄清楚了这是什么回事。
最初,互联网媒体在自己的网页上设置广告位,并自行售卖。而广告主通过在广告链接上附加监控代码来统计广告效果——这一阶段还没有IT服务企业和大数据什么事。
之后大中型互联网媒体会把一些不太好卖的广告位,交给广告公司经营。而这样的广告公司,同时还为千千万万长尾的小型网站广告。这些广告位置实际上就是零散的网络内容资源。于是,为了管理这些广告资源,并能够优化这些资源的买卖,IT企业搞出了管理互联网内容刚和交易的程序系统。这类系统有许多不同的内在逻辑与算法,也应运而生了许多拗口的英文缩写。泛泛而言,Google AdSense也可以作为这种广告内容系统的一种。
基于这种通过IT系统来投放广告和监控数据的业务模式,2007年前后国内突然兴盛起“精准营销”热。看似高深莫测,事实上主要业务就是自己的软件开发团队做一个基于WEB页面的通用内容系统和基于cookie的数据收集系统,然后从事两项业务:一是把这种软件卖给广告公司或者重度依赖广告的企业;二是直接从广告主或广告公司那里拉投放,通过自己的系统来广告。严格意义上来说,多家从事精准营销的开发者,各自手中的数据是割裂零碎的,要说有多精准,其实也谈不上。但是必须承认当年这些萌芽阶段的广告数据服务为当下乃至未来的互联网广告业打下了基础。
这些以内容为主的IT产品,在之后的几年演变成为了互联网广告业所常用的SSP——中文名为“供应方平台”。可以把SSP理解为具有服务器端和多种客户端的软件,广告投放部门可以使用其客户端快速自由地购买媒体资源,并实时进行广告执行;而互联网媒体和站点也可以使用其客户端快速售卖自己闲置的广告位。当然还有很多不同的广告数据系统会接入SSP,就不必一一列出。
在2010年到2012年这个时期,国内的互联网广告基本形成了三个层次的业务:指定的广告位明码标价直接售卖;闲置的广告位进入SSP然后再分发到各个售卖终端;网站联盟式的广告分发。
而到2013年,似乎一切都改变了。
从选择受众到选择数据
无论是十年前互联网的兴起还是三年前移动互联网的崛起,从来不缺少航空母舰式的超级应用。但这些流量和用户量位于前列的大户,在操作起广告来,反而愈发地传统。以新浪为例,十年前卖网站首页广告和十年后卖微博App启动页广告的方式并没有太多改变。但广告主的预算比例越来越倾向于数字营销时,这种和广播电视报纸一样的售卖方式已经远远不能满足广告行业的需求了。
2013年,去中心化是所有新老媒体面临的问题,内容、流量和用户时间都在分散,而无数的数字媒体产品却努力在做聚合。广告行业等不了这种拉锯战,而广告主在经历过SNS、微博、微信的洗礼之后,似乎突然集体开窍了:
“我要买的不是广告位,而是看广告的人!”
于是,流行了五十年的广告业圣经“我知道有一半的广告费被浪费了,但我不知道是哪一半”很可能在2013年要被终结掉。
终结者是一种名为“需求方平台”的广告系统,英文缩写DSP。
DSP说新不新,其本质逻辑没有超出2007年精准营销热潮时的基本概念,无非是通过数据找到精准的受众,而数据来源也还是浏览器的cookie;但说老也绝对不老,事实上即便是对DSP应用较为深入的广告投放机构,其通过DSP释放的广告订单额也不到10%。而未来一两年DSP业务也不过占整个数字广告市场的12%到15%。
对于广告主而言,DSP实现的是这样一种功能:符合自己目标人群描述的用户,会在浏览网页或使用App时,看到自己的广告。这意味着在DSP系统内的广告位,可能在同一时间向不同的用户展示不同的广告——这听上去并不稀奇,剩下的只是这种对用户的匹配能精准到什么地步,以及最终转化效果如何。
这个问题并不是某一家企业能够解决的,甚至不完全是DSP的工作。谁都知道美国最优秀的计算机毕业生都被吸引去搞算法搞数据来试图更加精确地找到用户来做广告——这被诟病为导致当下创新力不足的同时,也意味着广告行业另一项颠覆即将到来。
DSP平台本身也在不断进行技术演进,这与广告主的需求演进相辅相成。在广告主从需求指定广告位到需求指定人群的过程中,广告诉求其实没有本质的变化。即便在最原始的报纸广告时代,“二次销售”的逻辑也是卖人群和流量。
但是随着通过DSP进行广告售卖的比例上升,广告主的需求具有这样的可能性:既不选择媒体资源,也不选择指定人群,而是选择指定数据。
这个阶段当然还没有到来,但是这个阶段才是真正意义上的数字广告大数据时代。具体而言,目前的精准广告无非是由广告主来限定受众条件,如年龄、收入、行业等来推送广告——这依然是选择媒介和受众的逻辑。但DSP的能量完全发挥出来,应该是这样一种场景:广告主的具体广告项目,被分解为一个连续的数据流,通过DSP匹配相应的数据使得广告持续发生并形成转化——这个过程已经和传统的广告形态完全不同了。
有这样一个案例:某奢侈轿车品牌以指定销售额为广告投放目标,通过DSP系统来寻找匹配的数据流,最终主要的流量载体确定在以平板电脑为主的移动端网页以及App上,在引起用户关注和兴趣后,数据告诉广告机构:需要一个活动页面和一个定制App。于是《NFS15:变速2》的iOS版在中国区成为了一个免费App。这个广告投放和互动创意的效果出乎意料,在执行中并不是想象的要利用数据来匹配广告内容,而是广告内容吸引了用户聚合成了一个社区——这个社区并没有一个具体网站、论坛或者群的载体,但在DSP后台可以看到这些数据的高度相似性和聚合——之后有针对性地推出试驾等活动,结果只消耗了40%的广告预算就达到了销售目标。
同样的案例还发生在化妆品品类中。DSP不仅仅让广告主找到自己想要的人,更重要的是提供了下一步广告和营销活动的目标和策略。“找人”这件事,从广告主以前的首要目标退居二线。现在的局面是,只要找到合适的数据并遵循其逻辑,就能完成广告主更终极的目标——销售额、品牌影响力甚至是危机公关。
总而言之,五年前也许数字广告和精准营销都是利用分解目标的方法论来消化广告预算达到广告目的,而DSP将开创的时代是整合过程直达目标。
数据产品的缺位与媒体大数据革命
但是,DSP业务在可预见的未来,占整个数字广告的份额不会超过15%。有资深人士认为直接的媒体自己直销广告位在今年仍会是互联网广告的主流,占比超过65%。
这个问题的关键在于,中国压根没有“数据产品”的概念。
无论是新浪微博还是阿里淘宝,其海量的数据仍是以原始数据的形态存在的。这个问题在广告服务机构那里也不会好到哪里去。在没有优秀的数据工具的情况下,自然也不会有特别有价值的数据产品。这就意味着,所有的广告服务机构只能自行收集一手数据自行分析处理。
这听上去很落后,但国内在广告数据业务上领先的公司,也有赖于此自行运营SSP以及用户行为的搜集与分析。于是一手数据上成为广告服务机构之间比拼的重要筹码。但客观而言,如果整个行业没有成型的第三方数据产品生态,这些优势劣势也只是小打小闹——毕竟,作为广告服务机构与同行的一得一失并不重要,关键是大广告主把更多的预算放进大数据的场子里来玩。
无疑,无论是亚马逊还是ebay,都已经在提供第三方数据产品服务。这些数据产品使得美国的数字广告业务更加发达,因为广告主可以通过这些数据优化自己的市场和广告策略,也更加信赖数字广告所带来的效果。换而言之,美国已经一只脚跨进了“从选择受众到选择数据”的转型中。
而另一方面,许多媒体机构对于“数据产品”的贡献更具有借鉴性。当媒体本身已经能初步处理自己的用户数据——包括用户描述、行为偏好、层次细分以及需求分析等。再将这些结果接入DSP时,广告主也更有动力利用这种新的数字广告体系与媒体合作。
大数据时代分析范文3
关键词:大数据;信息安全;挑战
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2013)35-7937-02
随着信息技术的飞速发展,物联网、云计算、移动互联网等新兴技术使得种类繁多的计算机、传感器、移动设备等源源不断的创造出呈指数增长的信息,这些信息既包含人的,也包含各种物的,并且这种增长速度还在不断加快。让我们的世界悄然进入了“大数据时代”,如此巨大的变化让我们之前使用的常规计算工具已经无法应对各种新的挑战,这也引起了产业界、科技界和各国政府的高度关注。大数据(Big data)是指所涉及的数据量的规模大到无法通过目前的主流软件工具在合理时间内达到截取、管理、处理、并整理成对各种决策具有更积极目的的信息。一般认为它具有4大特征:数据量大、数据类别多、生成和处理速度快、价值密度低。大数据被美国政府认为是“未来的新石油”,对它的运用能力也将成为未来国家综合国力的体现之一,也将是国家的核心资产之一。但随着数据的进一步集中和信息量的增大,处理方式的改变,在信息安全方面也给我们带来了一些新的问题。
1 大数据时代带来的机遇
大数据技术的核心从传统的对信息的存储和传输,转变为对信息的挖掘和应用,随之带来整个世界商业模式的巨大变革,其潜在的应用价值将会带来新的巨大市场。面对无处不在的数据,对信息安全提出了新的要求,随着技术的进步,必然带来信息安全产业的快速发展。和大数据技术相关的产业链也将迎来新的发展期。2012年美国奥巴马政府了“大数据研究和发展倡议”,涉及到美国联邦政府的六个部门,旨在提高从海量和复杂的数据中分析萃取信息的能力,是美国继1993年“信息高速公路”计划之后的又一次重大科技发展布局,此外,日本、英国、澳大利亚等国都相继出台过和大数据技术相应的战略举措。可见大数据技术在今后科技发展进程中的重要性和它将带来的众多机遇已经引起了全世界广泛关注。
2 大数据时代信息安全技术面临的挑战
世界各地各行各业大量数据的产生,对数据的处理分析的实时性、有效性有了更高的要求,它推动了大数据技术的快速发展。大数据是一个较新的概念,在某种意义上来说它是多种新技术的集合,包括一些新的分析技术、存储数据库、分布式计算等等,和传统技术相比,其结构、信息类型、工作方式都发生了质的变化。众多新技术集成在一起,系统的进行工作,必然带来很多新的问题,面对大数据技术要处理的海量数据,在信息安全领域给我们带来了以下新的挑战。
1)大数据会成为网络恶意攻击的目标。由于大数据涉及的信息飞速增长并且更加复杂和敏感,蕴含的价值也更高,它自然会吸引更多的攻击者。一些通过定期逐一对数据进行扫描的安全软件也难以适应如此大量的数据。因为数据更多更集中,黑客一次成功的攻击从中可以获取的有用信息也更多,会给用户带来更多未知的损失。由于终端用户更加复杂,传统的防护方式对终端用户的合法性判断更加困难。
2)个人隐私信息的泄露风险更大。由于更多的使用网上购物、社交网络和网上信息注册等需要使用个人敏感信息的频率越来越高,不可避免增加了个人隐私信息泄露的风险,如果用户对个人敏感信息使用不当,可能会造成与之关联的多方面信息的泄露,造成难以估计的损失。如何对某些数据的所有权和使用权进行界定,是保护用户个人信息的主要问题之一。
3)信息的存储和安全防护面临新的挑战。由于需要处理的数据呈几何倍数增长,多种复杂的信息集中存储在一起,如果管理不当,极有可能造成数据的泄露,也会直接影响对信息处理的效率。如此大量的数据,常规的存储和安全防护手段已经无法满足安全需求,开发相应的安全策略和方法如果不能跟上信息的增长速度,就会直接造成存储安全防护方面的漏洞。
4)大数据技术可能被用于网络攻击中。由于大数据是对大量原始信息的分析处理然后再利用,不法分子可以通过社交网络、微博、邮件等多种途径获取有用信息,为网络攻击做准备,也让网络攻击目的性更强、影响面更大。随着新型大数据技术不断的发展和应用,与之相关的新的攻击方式必然出现。
5)大数据成为实施高级可持续攻击(APT)的载体。大数据的特点为攻击者实施可持续的数据分析和攻击提供了很好的隐蔽条件,将攻击隐藏在大数据中,让传统的实时匹配分析检测很难分辨,因为高级可持续攻击是不确定的实时过程,很难被实时检测。攻击者轻易设置误导安全监测的攻击,即可导致安全服务提供商的安全监测偏离目标。
3 大数据时代信息安全应对策略
大数据时代既给我们带来新的挑战,也带来了更多机遇,面对全球信息量的爆炸式增长,各个国家和机构都在不断完善和发展相关技术,应对大数据时代面临的新挑战,同时也推动了整个世界的科技进步。大数据时代在信息安全领域的应对措施主要从以下几点进行考虑。
1)出台相关政策。我国已将物联网发展列入“十二五”规划,但大数据方面的相应规划和政策目前还没有。对于个人生活、企业决策甚至是国家治理,大数据技术将会起到越来越重要的作用。各个国家都在争夺这一新的科技竞争战略制高点,国家出台相应的政策法规对其进行引导和支持很有必要。
2)加强个人隐私信息的保护。由于个人信息在网络上使用频率的上升,一些敏感信息极易造成泄漏,又因为大数据技术可通过多种渠道信息对目标进行收集整合,从中分析出相应数据,进行某方面的利用。如可精确分析出某人的消费取向、兴趣爱好等,对个体进行精确定位,都是敏感信息,对这些信息的所有权和使用权都应该在法律层面进行明确的规定和约束,并且应该有相应的监管部门对个人隐私信息进行严格的保护。
3)加强网络安全保障。随着信息采集范围的扩大、种类的不断增多,网络数据的传输量越来越大,大数据分析出的有用信息价值极高,对网络攻击者犯罪动机的诱惑也越发强烈,致使他们利用各种手段获取这些信息,一旦攻击成功,将会造成难以估计的物质和心理上的影响。所以保障网络安全在大数据时代具有非常重要的作用。
4)着力发展安全防护技术。对于个体和组织而言,现有的一些信息安全防护策略和措施已无法满足大数据技术发展的要求,面对海量数据如何进行有效的安全保护是大数据时代面临的重要课题之一,研究和发展新型信息防护技术,满足新的安全需求已经是摆在我们面前亟待解决的重要问题。
5)使用新技术应对高级可持续攻击。在大数据发展过程中,与之相关的核心技术包括:人工智能、机器学习、自然语言处理、情感分析、网络分析、空间分析、回归分析、聚类分析、时间序列分析、数据挖掘、遗传算法、神经网络、数据融合等新技术的创新应用,已初显成效。针对高级可持续攻击的攻击路径和渠道不确定性、攻击时间长、隐蔽性强的特性,全流量审计方案可将计算机的存储运算和人的分析能力结合在一起,具备强大实时监测能力,是应对APT的较好方法。
4 结束语
大数据时代已经悄然来临,它颠覆了传统的信息体系架构,将数据仓库转变为流动的、连接和信息共享的数据池,让人们利用之前不能有效利用的多种数据类型,给我们的世界带来新的机遇,也带来新的挑战。大数据时代的信息安全既要充分考虑到这些机遇,又要考虑到面临的挑战,从多角度、多方面、多层次、多方位地保证信息的安全。
参考文献:
[1] 维克托·迈尔-舍恩伯格.大数据时代[M].杭州:浙江人民出版社,2012.
[2] 邬贺铨.大数据时代的机遇与挑战[J].求是,2013(4).
[3] 严霄凤.大数据研究[J].计算机技术与发展,2013(4).
大数据时代分析范文4
关键词:大数据时代;服务型政府;应对
“大数据”的概念最早是在美国提出的,近年来信息技术得到快速的进步与普及,在各领域中的数据量也在无限的增长,大数据时代已经降临了。大数据成为人们创造新数据、获得新认知的主要源泉,同时不断推进政府与社会的转型。2013年是中国的大数据元年,在很多省市开展了大数据的试水战略,缩短了中国与世界的距离。对于怎样把握住时代赋予我们的机遇,如何引领大数据时代的发展潮流,打造出服务型的政府,我们可以带着这些问题进入下面的讨论。
1 不断夯实大数据时代的网络基础
1.1 联网化
大数据如果得不到联网很容易会成为信息孤岛,其作用也得不到有效的发挥。我们应该对移动互联网进行审计,加快建设网络信息环境的步伐,助推数据的集聚与互通。一方面政府应该加快建设4G网络试点的步伐,为未来移动互联网模式的升级探索路径,另一方面,应该加快对3G网络应用的普及,与相关统计数据相结合,扩大移动通信服务的使用规模,为数据的集聚和采集提供更加便捷的途径。
1.2 移动化
一直到2013年3月底,我国接入移动互联网的用户已经超过了8.1739亿,占我国总人口的60.6%,这一数据同时也证明了有将近40%的人口尚未接入到移动互联网中,所以,政府应该大力推行“数据救济”,对廉价的智能手机进行充分的研发,可以免费将其发放给弱势群体和低收入人群,促进全民手机化的真正实现,实现移动互联网的全面覆盖,将“数据鸿沟”彻底消除。在未来的世界中,手机将会是最重要的数据来源,同时也是数据采集点全覆盖得到实现的一种重要手段。
1.3 免费化
政府应该对人们分享数据的行为进行充分的肯定与鼓励,使获取成本的成本得到相应的降低,通过更加直接的方法提供免费的网络。中国应充分借鉴国外的先进经验,推进试点4G网络的免费服务,在此基础上与网络服务供应商联合设计出适于在全国推行的免费服务方案。如果这项举措能够得到实行,必然会推动大数据的迅速发展。
2 搭建大数据时代的应用平台
2.1 信息化
现在社会中之所以存在这么多的矛盾,在其背后的一个主要原因就是,工业时代旧秩序与信息时代新秩序时间存在一种“失同步”现象。而大数据时代的到来正好为政府的发展提供给了有利的契机,通过对全新标准的使用推动政府审计政府组织系统。首先,我们应该将旧数据挖掘工作做好。放弃原有的数据结构,将原有物理空间存在的局限性打破,用标签化的元数据取代原有的目录信息,推进网络结构数据系统的建立。这项工作需要很多科学家的共同参与,使数据的信息化发展得到加速。其次,应该加快对原有政府结构的额信息化改造。站在服务型政府的高度,促进政府公众服务的转型,合理定位政府中各机构职能,对原有机构进行再设计等等。最后,建立组织保障机制。对现有的工作领导机制进行积极的调整,充分结合外国的先进经验,在政府中设置首席信息官,使政府工作变得更加透明、法治、开放,进而使这次政府改革得到推动。政府中的首席信息官应该由专人任职,对不同部门进行协调。同时在执行机构的设置上,大数据和信息化战略的实行都要由专人操办,在工信部门中划分出来。
2.2 服务化
聚焦政府大数据的主要目的是分析与一个用,主要的出发点和落脚点都是为人民服务。在大数据时代中,数据与信息是非常重要的资源,如果数据和资源是开放和自由的,就意味着每个公民在数据与信息面前都是平等的。政府可以为公民打造一站式的服务型政府,从而赢得公众对服务型政府的信任,努力将其打造成为大数据时代中的重要网络节点。同时,政府应该加快研发为公众提供数据服务的手机应用软件,通过收集将数据进行公开与,不仅仅是为了社会监督的加强,同时也是为了吸引更多的人民参加到社会协作中来,在这一过程中的采集主要来源于公众数据的采集。
2.3 共享化
在大数据时代中,政府应该对信息工具进行有效的利用,对市场与社会的力量进行充分的利用,通过公私合作的方式将政府打造成为一喝大数据公共平台,政府应该充分发挥带头作用,进行数据的共享,将各种数据接口开放,使任何组织与个人都能够充分发挥自身的智慧与优势,对便民公共服务应用进行有针对性的开发和应用。与此同时,该公共平台还应该与社会组织以及企业联合,将数据平台打通,通过法律手段推动数据接口的开放与对接。
3 结语
“大数据”时代的到来促进了人们对新认知的获得以及政府转型的积极转变,在大数据时代中,整个世界将会朝着无数据时代、小数据时代以及大数据时代的划分方向发展,人类社会的数据积累将会发生量变与质变的双重变化。这场重要的数据变革必将使中国与世界的距离逐渐拉近,中国政府应该紧紧抓住这次机遇,引领大时代的发展潮流,打造一个新理念、新技术、新规则的服务型政府。
大数据时代分析范文5
传统方式下,孤立分析数据,单纯依靠经验发现问题,片面反映个别问题的技术方法已经无法适应企业审计发展的要求。企业审计需要全面采集与企业财务活动相关的数据,既包括财务数据,也包括业务数据和管理数据,既包括企业内部的数据,也包括主管部门、研究机构等的外部数据,既有财务数据、业务数据结构化的数据,也有会议纪要、政策法规等非结构化的数据;企业审计需要整体把握一个企业的整体情况,能够更科学、全面地评价一个企业,企业审计需要更准确的确定审计重点,能够在数据分析的基础上科学确定审计重点;企业审计需要更善于把握数据的规律和趋势,在发现企业现阶段存在问题的同时,更要能够揭示企业未来发展存在的风险和隐患。传统审计方式下缺乏采集管理、科学分析海量电子数据的技术,也就无法满足企业审计发展的新要求。
面对大数据时代的来临,面对“大数据”所带来的新技术、新思维的变革,企业内部审计需要应时而变来适应商业模式、思维模式及数据处理模式的变化,从而影响了审计方式、审计抽样方法、审计评价模式、审计重点等。而内部审计人员不仅要能了解数据的变化以及数据处理技术的变革,更要能处理数据、分析数据、驾驭数据,要能够充分、及时地从大量复杂的数据中,辨认出对内部审计的意义与价值,并进而协助内部审计人员做出最佳的决策。“大数据”对企业内部审计的影响主要表现在以下几个方面:
(一)审计方式由传统审计的事后审计、周期审计向连续审计转变。随着大数据技术的快速发展,审计方法和模式也在与时俱进。传统审计中,审计人员只是在完成财务报告或经过特定的周期或离职等情况的时候才进行审计,而且审计中并不是检查所有的信息,只是抽样分析。这种有限的检查对复杂的商业系统来说很难起到监督作用,而且传统审计的测试程序主要采用常规的方法关注被审计单位活动,包括数据、授权和执行等。企业如仍然采用这种审计方式,对于确认迅速发展的商务活动的真实价值或合法性显得过于迟缓;另外,从内部控制的角度来讲,我国目前的内部审计实务多是针对财务、会计事项,对经营活动、内部控制、管理事项的监督、评价极为有限,审计活动理念也多为“监督导向”型,而非“服务导向”型,公司部门间的不同流程缺乏衔接都使审计工作难以为经济活动提供全面的监控和服务。随着企业经济业务日趋复杂,信息技术迅速发展,企业电子商务和信息化建设逐渐成熟,越来越多的人意识到连续审计的重要性,而大数据技术及大数据基础使连续审计成为可能。连续审计可以降低传统审计过程中的浪费和时滞问题,降低审计错误和风险,促进企业发展。连续审计是信息技术与审计学科较好交叉融合的产物,是信息化条件下审计科学发展的必然,尤其对内部风险控制“实时性”要求极高的特定行业,如银行、证券、保险等金融和债务契约等行业中,实施连续审计监督迫在眉睫。某财产保险公司内部审计部门,已经在新开发的审计系统中固化了连续审计模块,该模块可以实现在线的风险预警,并安排专人进行日常数据式连续审计,将发现的风险数据、超预警值指标及问题登记为疑点,并建立审计底稿,按照重要程度进行远程审计、核实或下发给现场审计人员进行现场核实。该模块经过一段时间的使用,收到了很好的效果。
(二)审计抽样开始系统化、模块化、智能化,并开始具有预测功能,而样本最终将扩展至数据全体。目前,常规审计工作已广泛采用随机抽查法,其意义用较小的投入来获得审计结论,提高审计效率;但利用抽查法所得出的审计结论存在着发生重大错误的可能性,其可能性的大小就意味着审计风险的大小。然而,数据量的爆炸式增长使审计人员意识到现行的抽样审计方法只是凭借审计人员的主观判断和实际经验对财务报表中的重大事项进行审查,而忽视了大量的业务活动,无法发现和揭示企业内部发生的、对财务报表真实性有重大影响的舞弊行为和技术性错误,难以对企业财务报表及经营管理做出准确的判断和评价。但是,庞大的企业规模和繁多的业务活动,致使审计工作难以回到详细审计方式,只能在抽样审计方法本身寻求改进。审计抽样开始向以下几个方向发展:一是审计抽样系统化。通过抽样系统增加审计抽样的实用性和效率性,为审计人员从大量的审计数据中抽取有用信息,为审计的预测分析提供依据,这样的抽样采用人工方式在海量数据的情况下是无法进行的;二是审计抽样模块化。通过模块化设计,审计抽样系统将得到最大的灵活性,以便抽样时采用各种模型组合便抽样更有效率;三是审计抽样的智能化。审计抽样系统将积极吸收审计、统计、计算机、人工智能等方面的最新研究成果,抽样模型及时得到更新,抽样经验在知识库中得到积累,审计抽样系统开始“学习”、“推理”,不断朝着智能化方向发展。将海量的数据经分析、预测等“加工”后,以知识的形式呈现给审计人员,为审计人员发现审计问题提供深度支持;四是审计抽样系统开始具有预测功能。随着大数据技术的发展,计算机的运算能力和处理速度不断提高。审计抽样系统会强大到处理复杂的运算,并利用大数据技术改进后的审计抽样算法来对这些审计数据进行分析并进行数据挖掘,找出特征数据,缩小抽取样本的数量,降低审计成本、提高审计效率;利用关联规则,预测被审计单位经营风险的高低,帮助审计人员确定审计重点,提高审计效率。通过审计信息系统所提供的庞大数据库可以实现对被审计单位的信息进行数据挖掘和综合分析,对被审计单位的财务及经营状况进行预测分析,为被审计单位提供决策依据。目前,某财产保险公司的审计系统,应用了大数据技术进行风险数据的提取,并应用PPS抽样、随机抽样、系统抽样、模型抽样、组合抽样等进一步提高审计效率。而在抽样模型中应用了汽修厂与驾驶员、报案人、定损员、收款人等的关联程度模型,伤者、驾驶员、报案人、联系人、领款人等的出险频繁度模型,人伤重复出险伤者、标的车多次与同一三者车碰撞出险等高风险模型,承保、理赔、财务系统非同一档案中上传相同照片等以“大数据”技术为基础的模型,收到良好的效果。
然而,在不久的将来,伴随着以真实性、服务性为基础的各项企业内部审计的深化,随着数据信息化的深入以用大数据技术发展应用的深入,企业内部审计逐渐开始能够从大量的、杂乱无章的海量数据中发现潜在的有用的信息,能够从这些大量的数据中发现被审计单位运作的基本规律及特征;预测出被审计单位发展的趋势,从宏观上把握被审计单位科学地发展。审计也不仅仅局限于抽样审计,而是对企业所有财务、业务等经营数据的数字式连续审计。
(三)促进审计成果的转化与应用。目前,内部审计成果应用主要是针对屡查屡犯的问题重点进行检查、督促整改,部分企业已经将审计成果应用闭环管理的手段对整改过程进行管理以达到良好的审计成果运用效果。大数据技术的出现,促进了审计成果的进一步应用。一是促进对以往审计中获取的大量信息资料和相关情况资料的汇总、归纳,从中找出财务、业务和经营管理等方面的内在规律、共性问题和发展趋向,通过汇总归纳宏观性和综合性较强的审计信息,以及运用审计成果,为各级领导提供数据证明、关联分析和决策建议,从而促进完善制度、机制、决策和执行,促进企业管理水平更上一层楼;二是促进问题的全面发现,即应用大数据技术可以将同一问题归入不同的类型使用,从不同的角度、不同的层面整合提炼以满足不同层次的需求。同时,通过对带有共性、普遍性、倾向性的问题进行挖掘,提炼出问题与数据中的关联性,可以将所有问题通过IT手段检查出来;三是应用大数据技术进行连续式审计有利于问题的整改监督;四是将审计成果进行知识化留存,通过大数据技术,将问题规则化并固化到系统中,以便于计算或判断问题发展趋势、对问题进行预警等;五是将审计人员与审计成果、被审计单位与审计问题进行关联,并进行信息化备案,在进行下次检查时,可以根据审计方案中的重点,有侧重地选取有相应检查经验的审计人员组成审计组,并按审计目标抽取相应被审计单位进行重点审计检查等。
总之,大数据并非被过度渲染的产业题材,大数据对企业内部审计的影响,既是应对企业数据集中模式、数据爆炸式增长趋势而进行的实时处理超量数据的技术升级,又是将方方面面的数据进行电子化、信息化,并将信息规则化、知识化,最终使各种应用网络化、智能化的过程;大数据更是一次从分散到集成、从共享到协同、从封闭到开放、从离线孤立到持久在线云服务、从专享到普适的挑战。
主要参考文献:
[1]维克托·迈尔-舍恩伯格,肯尼思·库克耶.大数据时代中译本.浙江人民出版社,2013.
[2]Bill Franks.驾驭大数据中译本.人民邮电出版社,2013.
[3]陈丹萍.数据挖掘模式下的审计风险决策研究[M].中国社会出版社,2007.
[4]陈福军.计算机辅助审计应用教程[M].清华大学出版社,2011.
[5]《企业审计制度方法和技术建设》课题组.信息化环境下企业审计的技术方法[M].中国时代经济出版社,2011.
[6]中国会计学会.企业内部控制自我评价与审计[M].大连出版社,2010.
[7]陈倩雯.深圳审计研究成果论文选编:2010~2011[M].中国时代经济出版社,2012.
[8]浙江省注册会计师协会.国际高级审计业务文集[M].中国财政经济出版社,2010.
[9]上海国家会计学院.内部控制与内部审计[M].经济科学出版社,2012.
大数据时代分析范文6
大数据时代信息安全面临挑战
在大数据时代,无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络使得互联网时时刻刻都在产生着海量的数据。随着产生、存储、分析的数据量越来越大,在这些海量数据背后隐藏着大量的经济与政治利益。大数据如同一把双刃剑,在我们享受大数据分析带来的精准信息的同时,其所带来的安全问题也开始成为企业的隐患。
1、黑客更显著的攻击目标:在网络空间里,大数据是更容易被“发现”的大目标。一方面,大数据意味着海量的数据,也意味着更复杂、更敏感的数据,这些数据会吸引更多的潜在攻击者。另一方面,数据的大量汇集,使得黑客成功攻击一次就能获得更多数据,无形中降低了黑客的攻击成本,增加了其“收益率”。
2、隐私泄露风险增加:大量数据的汇集不可避免地加大了用户隐私泄露的风险。一方面,数据集中存储增加了泄露风险,而这些数据不被滥用,也成为人身安全的一部分。另一方面,一些敏感数据的所有权和使用权并没有明确界定,很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。
3、威胁现有的存储和防护措施:大数据存储带来新的安全问题。数据大集中的后果是复杂多样的数据存储在一起,很可能会出现将某些生产数据放在经营数据存储位置的情况,致使企业安全管理不合规。大数据的大小也影响到安全控制措施能否正确运行。安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐,就会暴露大数据安全防护的漏洞。
4、大数据技术成为黑客的攻击手段:在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时,黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息,比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息,大数据分析使黑客的攻击更加精准。此外,大数据也为黑客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻击,可能会同时控制上百万台傀儡机并发起攻击。
5、成为高级可持续攻击的载体:传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测,而高级可持续攻击(APT)是一个实施过程,无法被实时检测。此外,由于大数据的价值低密度特性,使得安全分析工具很难聚焦在价值点上,黑客可以将攻击隐藏在大数据中,给安全服务提供商的分析制造很大困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击,都会导致安全监测偏离应有方向。
6、信息安全产业面临变革:大数据的到来也为信息安全产业的发展带来了新的契机,还没有意识到这场变革的安全厂商将在这场变革大潮中被抛弃。大数据正在为安全分析提供新的可能性,在未来的安全架构体系中,通过大数据智能分析有效的将原来分割的安全产品更好的融合起来,成为不同的安全智能节点,这将是在大数据时代安全产业需要研究突破的重点。
RSA信息安全智能分析平台解析
日前,EMC信息安全事业部RSA宣布推出了RSA信息安全智能分析平台,该平台基于RSA NetWitness成熟的技术架构,并将SIEM、网络取证(Network Forensics)和大数据分析技术进行了融合,为信息安全专业人员提供了深度可视性,帮助他们察看和了解安全漏洞及安全攻击,使安全风险一出现就能被发现,因此显著节省了时间,将查找时间从几天缩短为几分钟。另外,通过帮助信息安全专业人员了解起源于企业内部及外部的数字风险,企业还能更好地保护自己的资产,包括知识产权以及其他敏感数据,同时节省与安全威胁管理及法规遵从报告有关的时间和费用。
RSA信息安全智能分析平台特性:
数据快速捕获与分析:与信息安全相关的数据,包括通过网络传送的完整数据包、日志和安全威胁情报,都能快速捕获和分析,以加速对潜在安全威胁的检测。
强大的分析能力:实现比基于SIEM的传统安全方法大得多的数据采集规模,而且新的分析方法具有更强大的分析能力。
集成了应对安全威胁的智能性:帮助企业实现安全威胁情报供给的可操作性,以加速对指向企业的、潜在攻击工具及方法的检测和查找。
安全威胁的背景信息:通过与RSA Archer GRC平台以及与RSA防数据丢失(DLP)套件的集成,还通过融合其他产品产生的数据,分析人员可以利用业务背景信息,为造成最大风险的安全威胁优先分配资源。
恶意软件识别:该解决方案利用各种查找方法识别基于恶意软件的攻击,识别范围大得多。
法规遵从报告自动化:通过良好的信息安全实践,帮助实现法规遵从性。
成熟的大数据平台及分析方法与信息安全工具相集成,使信息安全保障方式取得了极大的进步。正如所开发的那样,RSA信息安全智能分析平台整合了无与伦比的可视性,可利用大数据平台及先进的分析方法,识别高风险活动、降低高级安全威胁风险并满足法规遵从要求。
大数据安全未来趋势展望
据MacDonald预测,到2016年,40%的企业(银行、保险、医药和国防行业为主)将积极地对至少10TB数据进行分析,以找出潜在危险的活动。然而,供应商的产品格局却无法在短期内进行转变。现在,企业通常依赖于SIEM系统来关联和分析安全相关的数据,MacDonald表示目前的SIEM产品无法处理这么大的工作量,大多数SIEM产品提供接近实时数据,但只能处理规范化数据,还有些SIEM产品能够处理大量原始交易数据,但无法提供实时情报信息。
Gartner公司分析师表示,使用“大数据”来提高企业信息安全不完全是炒作,这在未来几年内这将成为现实。大数据将为安全团队带来新的工作方式,通过了解大数据的优势、制定切合实际的目标以及利用现有安全技术的优势,安全管理人员将会发现他们在大数据进行的投资是值得的。