压缩感知网络信息特征研究

压缩感知网络信息特征研究

1压缩感知的理论背景

利用信号处理领域的压缩感知理论,将网络入侵检测要处理的海量的、高纬度的复杂网络中的数据,作为压缩感知新的数据输入,设计出新的入侵检测的方法,通过先把高纬度数据进行降维,能够直接、快速压缩这些网络中的数据流,分析和获取正常和异常行为的特征数据,找出其中的规律,可以取得压缩感知在信号处理领域的一样的优质效果。

2发展动态分析

处理海量、高纬度的网络数据,无论在时间上还是在空间上,都给计算机用户带来了新的挑战。无针对性的、全盘接受并处理数据的做法并不现实,必须采用新的处理理念,在已取得了实质性的进展的同时,仍存在一些理论和技术问题需要进一步研究和解决,主要表现在:

(1)如何利用压缩感知理论对复杂网络数据进行分类和处理

(2)如何对高纬度数据进行降维处理

(3)如何分析取得抽象的网络数据特征

(4)如何对上述问题进行实时监控处理,实现算法优化并通过硬件实现加速因此,结合计算机犯罪取证这种具体的应用场景,挖掘这种复杂的高维度、大干扰网络数据的分析和处理方法,对未来具有极其重要的研究意义和前瞻性应用前景。

3压缩感知在复杂网络数据中的应用研究

在奈奎斯特采样定理为基础的传统数字信号处理框架下,若要从采样得到的离散信号中无失真地恢复模拟信号,采样速率必须至少是信号带宽的两倍。然而,随着当前信息需求量的日益增加,信号带宽越来越宽,在信息获取中对采样速率和处理速度等提出了越来越高的要求。压缩感知是建立在矩阵分析、统计概率论、拓扑几何、优化与运筹学、泛函分析等基础上的一种全新的信息获取与处理的理论框架。它基于信号的可压缩性,通过低维空间、低分辨率、欠奈奎斯特采样数据的非相关观测来实现高维信号的感知。在该理论下,信号的采样速率不再取决于信号的带宽,而是取决于信息在信号中的结构与内容,因此在满足信号的可压缩性以及表示系统与观测系统的不相关性两大条件下,从低分辨观测中恢复高分辨信号就成为了可能。压缩感知不仅让我们重新审视线性问题,而且丰富了关于信号恢复的优化策略,极大地促进了数学理论和工程应用的结合。

4降维后网络数据特征分析

压缩感知理论指出:当信号在某个变换域是稀疏的或可压缩的,可以利用与变换矩阵非相干的测量矩阵将变换系数线性投影为低维观测向量,同时这种投影保持了重建信号所需的信息,通过进一步求解稀疏最优化问题就能够从低维观测向量精确地或高概率精确地重建原始高维信号。在该理论框架下,采样速率不再取决于信号的带宽,而在很大程度上取决于两个基本准则:稀疏性和非相干性,或者稀疏性和等距约束性。

5改进型压缩感知算法在高数据量和大干扰环境下的应用

压缩感知的一般过程包括信号的稀疏性表示、测量矩阵的设计、信号的重建。传统的以奈奎斯特采样定理为准则的高速采样后再压缩的过程浪费了大量的采样资源。但是典型的有意义的图像,从小波理论的角度看来是非常稀疏的,也就是可压缩的。压缩感知理论要解决的主要问题包括信号的稀疏表示;信号的低速采样,即信号从N维降到M维时信号能量不被破坏,在实际中还要考虑观测矩阵的硬件实现可能性;以及如何设计快速的重构算法保证重构信号的精确性和稳定性。压缩感知理论能够直接、快速地压缩采集网络中的数据流,尤其是在高数据量、大干扰环境下,通过对访问数据的压缩采样,获取正常和异常行为的特征数据。这种数据处理方式避开了大量的数据处理,直接获取特征,这对于网络中需要进行高维的数据处理过程来说,大大节省了处理时间,为实现实时的入侵检测提供了重要的技术手段。同时利用压缩的数据特征,去匹配正常和异常的行为库,其行为判别的效率将大大提高。

6算法的有效性和实时性

压缩感知理论利用信号的稀疏特性,避开高速采样,即可以以非常低的率进行信号处理,发现了采集稀疏信号的少量重要信息就可以近似或精确重建出源信号的重要性质,显著降低信号的时间和计算成本以及数据存储传输代价,有效地缓解了高速采样的压力。同时,压缩感知把高维信号映射成低维后再进行处理,仅采集少量观测值,远远小于信号的维数,减少了存储和传播的信息量,减轻了网络传输的压力,并为复杂的高维数据分析提供了新方法。目前,已经发展了分布式CS理论、BayesianCS理论、谱CS、边缘CS理论、块CS理论等。不仅在理论上为统计学、计算机科学、编码理论、信息论、统计分析、数据挖掘和雷达探测等领域带来了新的启示,同时在图像重建和分布式传感器网络等方面都有很重要的实际应用。

7总结

利用压缩感知理论,把高维度的数据降维,提高对数据的压缩率。将本文提到的方法应用到网络数据流的取证过程,并进行理论分析和检验,然后给出可能的证据呈现形式。

作者:汤晓军 刘震 单位:山东省广播电视监测中心 山东省电子信息产品检验院