摘要:传统的计算机网络技术已经不能够满足计算机网络安全需求，大数据技术本身能够实现对海量数据信息的有效挖掘、整合、分析，在网络安全方面有着先天优势。在网络安全信息挖掘方面，大数据技术支持对海量网络数据的高效率挖掘;在网络信息数据处理方面，大数据技术实现了对非结构化数据的关联性分析。信息安全问题在大数据时代已经转变为一个数据分析问题，大数据技术所具有的特性能够满足当下计算机网络的安全保障需求。
关键词:大数据;计算机网络;安全技术
据Gemalto的《数据泄露水平指数(BreachLevelIndex)》，仅2018年上半年，全球就发生了945起较大型的数据泄露事件，共导致45亿条数据泄露，与2017年相比增加了133%。传统的网络安全技术方法存在诸多不足，新兴的威胁也对网络安全检测提出了更高的要求。大数据技术本身能够实现对海量数据信息的有效挖掘、整合、分析，在网络安全方面有着先天优势。
1大数据技术和计算机网络安全技术整合的必要性
网络安全分析的数据量正从TB朝着PB发展，数据的内容更加细化、数据分析的维度更为多元、信息数据的发送速率也在逐步提升，0day等漏洞日益增多，多阶段组织式APT攻击发生也越发频繁，对计算机网络安全提出了更高要求。传统计算机网络安全技术在数据储存方面主要采用“结构化数据库”，数据的储存成本相对较高。储存时间较长的数据容易丢失，寻本溯源较为困难，尤其是对体量较大、降噪较为困难的数据，分析效率极为低下，数据分析的准确性也难以得到保障［1］。大数据技术支持海量非结构化数据的整合、分析、储存、计算，相较于传统的数据库分析技术，处理成本更低、安全投入更低、对于非结构化数据的分析效率更高、检测的相应速度更快。同时，大数据技术能够实现精准化挖掘，支持对多维度非结构化数据的关联性分析［2］。大数据技术和计算机网络安全技术的整合是必然的发展趋势。
2大数据技术在计算机网络安全分析中的应用
根据计算机网络的运作特征，网络安全分析主要针对计算机数据流量、日志、漏洞等对象，辅助参考用户行为、业务行为、应用行为、外部情报等方面。传统的数据库分析技术，主要包括恶意代码检测、僵木蠕检测、异常流量检测、Web安全分析等内容，在整合大数据技术后，就能够在保证可靠分析的基础上，实现不同结构数据和访问日志的整合，达成高效率的储存、检索、分析、挖掘。尤其是针对APT、0day等传统计算机网络安全技术难以防范的攻击类型，大数据技术在检测、分析方面的优势更为突出［3－4］。在网络安全信息挖掘方面，大数据技术支持对海量网络数据的高效率挖掘，同时整合Scribe、Flume、Chukwa等工具，采用“分布式挖掘”的方式，对网络信息数据的挖掘速度可达到每秒数百兆。为了满足不同需求的数据储存，提高数据分析、数据查询的效率，大数据技术可有效应用Gbase、Hbase等储存方式，同时利用Hadoop分布式计算架构、Spark计算架构、Storm计算架构，实现分析数据的有效分配、储存，为高效率的数据分析处理奠定了基础［5］。在网络信息数据处理方面，针对数据的实时化分析，大数据技术能够在利用Spark、Storm、Hadoop计算架构的基础上，整合complexeventprocessing技术，实现对非结构化数据的关联性分析，发现计算机网络在运作过程中存在的异常状况。
3大数据技术和计算机网络安全技术整合分析平台
大数据技术在分析、储存、检索方面有着传统技术方法所不具备的优势，能够有效提高数据的分析效率，并具备从海量信息数据中挖掘安全问题、安全隐患的能力。以一种大数据技术和计算机网络安全技术整合的分析平台为例，可以更清楚地理解大数据技术的优势。
3.1基于大数据技术的网络安全分析平台架构
如图1所示，基于大数据技术的网络安全分析平台，架构从上而下分别为数据采集层、数据储存层、数据挖掘层、数据呈现层。从数据的类型上来看，平台几乎涵盖了计算机网络在运行过程中可能会产生的所有信息，如DNS流量信息数据、Netflow流量信息数据、用户行为信息、网络配置信息、Web应用信息等。数据储存层通过分布式储存，能够实现对多样化非结构数据的长期储存。在分析平台上，数据采集、数据储存、数据挖掘分析、数据呈现可构成一个完善的整体。
3.2关键技术方法
数据挖掘技术:主要实现对网络数据的在线分析以及对日志信息、流量信息的离线统计，信息数据的统计主要借助于Hive实现。从图1可看到，为统一在线信息的采集以及离线信息的采集，平台整合了Strom、Kafka计算架构。在整合在线信息数据、离线信息数据时，实现分布式、非结构、可靠、高效率的海量信息聚合、采集，对数据经过整合处理后，将数据发送至相应的分布储存点［6］。和一般数据挖掘方法不同，平台利用Kafka来保证对流式数据的有效处理，Strom则能够对各种实时消息进行分布式处理，使得计算机网络在运作的过程中不间断进行数据读取、发送、储存。数据储存技术:挖掘出的网络信息数据主要储存在HDFS中，HDFS是目前较为成熟的分布式文件储存技术，能够在不同的数据节点储存不同种类的非结构化数据，对于海量的信息数据，HDFS还支持数据的相互导入。数据分析技术:平台数据分析利用MapReduce实现，MapReduce本身是一种较为成熟的编程模型，多用于对大于1TB数据集的并行运算，提供了一个庞大的数据计算框架，在这个框架下，数据分布存储、数据通信、容错处理均能够实现。平台还应用了Hive对数据进行统计，并利用HDFS对非结构化数据进行快速的检测、查询。
4结语
信息安全问题在大数据时代已经转变为一个数据分析问题。当前网络信息数据的规模不断增长，数据的类型越来越繁多，现有的网络安全技术难以实现精细化的高效分析。大数据技术所具有的特征能够满足当下计算机网络的安全保障需求。
参考文献:
［1］赵亮.浅谈基于大数据时代的计算机网络安全技术应用［J］．信息技术与信息化，2019，(09):135－137.
［2］尹智.网络安全探讨大数据技术及其在计算机信息系统中的运用［J］．数码世界，2019，(09):262.
［3］李玮.探索大数据时代计算机网络安全的影响因素与预防措施［J］．网络安全技术与应用，2019，(09):9－10.
［4］刘昕林.一种基于大数据的网络安全防御系统研究与设计探讨［J］．科学技术创新，2019，(26):96－97.
［5］党会博.借助大数据对网络安全事件自动分析与深度挖掘研究［J］．无线互联科技，2019，16(14):17－18.
［6］秦娅，申国伟，余红星.基于Hadoop的大规模网络安全实体识别方法［J］．智能系统学报，2019，14(05):1017－1025.
作者:唐明双 单位:长春工程学院
