数字高程模型压缩研究发展浅论

数字高程模型压缩研究发展浅论

基于人工神经网络的DEM数据压缩

人工神经网络作为一种智能化的方法近年来在图像数据压缩领域得到了一定的研究与应用[6]。基于人工神经网络的数据压缩主要有2个步骤:①学习训练,将数据送入输入层作为训练样本,不断调整各层间的连接权值,从而使得网络的输出均方差达到最小;②压缩编码,将数据输入到训练好的网络,压缩后的数据通过隐含层输出。DEM数据具有相关性和连续性的特点,即DEM数据反映的是地形连续变化的特征,高程剧烈变化的部分是少有的并且DEM网格中某一点的高程值可以通过邻域值用非线性函数表示,这实质上非线性函数逼近或地形曲面拟合的过程。基于以上特点,学者们将人工神经网络引入到DEM数据压缩领域,冯琦等[7]采用BP神经网络实现DEM数据压缩,该研究特色在于:①采用L-M训练算法提高单隐层网络(SHLN)运算速率[8-9];②基于DEM数据相关性特点设置相对误差精度指标实现对最优BP训练网络的选取,在减少结点数的同时获得较高的压缩比;③该方法解压过程对于计算机硬件依赖性不高,能够进行数据的离线压缩处理。根据DEM数据的连续性特征,赵鸿森等[10]提出了一种基于RBF神经网络的压缩方法,该方法将山脊线、山谷线等地形特征作为样本点训练集,能够根据地形特征自适应确定网络结构,神经网络权值是通过网格点高程值获得,可获得较高的压缩比。

基于小波变换的DEM数据压缩

1.基于DWT的DEM数据压缩

DWT(DiscreteWaveletTransform)适合于处理各种冗余度低、相关性低的非平稳信号的压缩处理,对于不稳定、相关性差的DEM数据压缩具有较好的效果。DWT对于信号的压缩是基于其他具有多分辨率分析(MRA)这一特性,即根据Mallat算法[11]原始信号能够被逐级分解为高频和低频信号,由于高频分解信号含有绝大都数信息并且幅值小,通过设定一定的比例将最小幅值的分解系数置为0,再通过小波系数重构达到信号压缩的目的。经过理论分析,原始信号经过DWT,重构信号与原始信号具有高度的一致性。事实上重构信号与原始信号的差别往往不可忽略,特别是对于DME数据的压缩,压缩后数据相对于原始数据而言存在着严重的边界畸变、失真等问题,必须加以解决。针对这一问题,CHANG[12]等将二维离散小波变换的边界问题转变为一维离散小波变换来进行处理,研究结果表明该方法大大减小了边界失真区域,在提高压缩比的同时DEM重建数据精度也得以提高。

2.基于IWT的DEM数据压缩

DWT是通过将信号分解系数直接置0的方式来进行压缩处理,重构信号与原始信号不可避免地出现误差,而基于IWT(IntegerWaveletTransform)信号压缩,由于小波分解系数通过有限精度数(FinitePrecisionNumber)来进行精确描述,因而适合于对信号进行无损压缩处理[13]。基于IWT的数据压缩具有以下特点:①压缩处理很大程度上依赖于多相矩阵因式分解的选择,而因式分解能否对压缩后图像给定一个适当的误差尺度,取决于图形迭代函数;②IWT采用提升方案,并且均为整数运算,数据处理的速率得以提高;③IWT完全可逆,既可以实现有损编码也可以实现无损编码。陈仁喜等[14]将整形小波变换用于DEM数据压缩处理,该方法首先将经过预处理的DEM数据进行整形小波变换,然后对变换系数进行阈值化处理,最后进行量化编码。该方法最大特点是实现了数据压缩比和质量以及数据质量和传输速度的很好折中,具体为:①量化方法基于SPIHT算法平面传送思想,重要信息主要集中于高位,将小波变换后的系数直接去掉后面的n个平面位,该方法在保证数据压缩质量的同时提高了压缩比;②采用基于位平面扫描的算法对量化后的数据进行压缩编码,这使得压缩后的数据具有质量渐进传输特性;③小波变换后各子带分别进行编码,在解码过程中可以不对高频子带解码,得到的恢复数据分辨率较低,这有利于对大型DEM数据进行快速检索和浏览。

3.基于SPIHT小波编码算法

EMZ(EmbeddedZerotreeWavelet)算法由Shaprio[15]于1993年提出,该算法包括嵌入式和零树,在零树结构与逐次逼近量化方法(SAQ)相结合的基础上实现嵌入式编码。该算法能充分利用小波系数特点使得输出的码流具有嵌入的优点,因而在图像处理[16-17]、生物医学[18]等领域得到广泛的应用研究。但该算法也存在着如在相互独立的零树进行编码时浪费大量字节等缺陷,研究者们也做了一些改进[19]。在EMZ算法基础上发展而来的SPIHT(SetPartitioninginHierarchicalTrees)[20]算法具有能够在保证数据压缩质量的前提下提高压缩比,能够进行优化嵌入式编码,均方根误差和计算复杂度低等优点,并且数据压缩后具有很好的渐进传输特性,目前该算法在图像压缩领域得到广泛应用。地形特征是影响DEM压缩质量的一个重要因素,平坦地区数据冗余量大而山地地势高低起伏,数据冗余则较小,但就现有的研究方法而言将这两种地形采用同样地压缩比,压缩结果不尽如人意,李毅等[21]提出了一种基于SPIHT小波的DEM自适应压缩方法,该方法特点在于:①考虑地形特征,根据地形的复杂度进行分析以确定数据压缩比,从而确保数据可视化质量;②自适应性编码,通过才用表征不同尺度的小波高频系数和地形尺度特征向量对地形复杂度进行评估,根据评估结果自适应调节编码算法。但该研究中数据压缩比是根据地形视觉效果选择,存在一定的经验性,在实际应用中很难得到较为理想的压缩比。

4.基于M进制小波的DEM数据压缩

多分辨率分析是传统二进制小波变换的基本特性,即能够获得信号在时间域和频率域局部化特征,这有利于对图像局部信息进行有效地识别和分析。当图像经过多层小波分解时,随着分解层数的增加,图像信息会出现不同程度的丢失,这成为二进制小波变换的主要缺陷。在二进制小波变换基础上发展的M进制小波变换具有如下特点:①能够对图像信号进行更加细致地分解,分解次数不受限制;②图像信息更加集中,并能够精确描述图像的频率分布;③图像重构具备较高的精度;④具有对图像信号相对狭窄的高频部分进行放大处理和对图像信号压缩的特性,这克服了正交小波分解所存在的缺陷.DME由于具有海量化数据,以及复杂的地形信息等特点一直是DEM数据压缩的难点,近年来研究者们将M进制小波变换引入DME数据压缩领域,王宇宙等[22]提出了一种基于多进制小波变换的DEM数据压缩方法,顾及DEM地形因素,将高频和低频信息分别进行编码处理是其主要特色,具体化为:①低频系数采用差分映射编码,这充分顾及地面变化的连续性以及大量数据冗余的情形,能够对低频信息进行无损的压缩编码;②并未直接舍弃系数值较小的高频小波系数,而是通过自适应对数量化表,对各个高频小波系数子块分别加以量化处理,能够获得较好的压缩效果。但该方法不足之处在于:对数量化位数是根据压缩率来进行确定,而事实上压缩率不能预先得知,从而量化位数也就无法精确得获得,基于具体地形信息的DEM数据精确压缩也就难以实现。多进制小波函数和尺度函数的构造是基于多进制小波DEM数据压缩的难点之一,对此吕希奎等[23]构造了一种具有插值性质的多进制小波函数和尺度函数,将DEM数据转变为二维图像压缩问题,能够在保持地形特征基本不变的前提下提高压缩比。但基于多进制DEM数据压缩本质上是有损压缩,细节信息的损失不可避免。#p#分页标题#e#

基于组合算法的DEM数据压缩

1.SPHIT算法与小波变换相结合的DEM数据压缩

整形小波变换(IWT)采用了提升方案(LS),避免了传统小波的卷积运算,并且计算过程完全在空间域进行,计算复杂度明显降低,便于硬件实现。因此,IWT能够对于冗余度较大的DEM数据进行有效地去相关性处理,实现对DEM数据的无损或近似无损的压缩。将IWT与新型编码方法的代表——SPIHT算法有机结合,为DEM数据压缩提供了一种有效方法。田继辉等[24]提出一种能够用于应急三维GIS的DEM数据压缩方法,该方法特点在于:①根据压缩精度要求,实现DEM数据单位转换;②对于每块DEM数据均减去其最小值,在降低了小波变换级数的同时使得SPIHT编码级数也得到降低;③通过设定一个小波系数阈值,将高于和低于该阈值的小波系数,分别进行SevenZip和SPIHT算法进行处理;④选用Int5/3实现对DEM数据压缩处理。该方法充分发挥IWT和SPIHT算法的优势,能够顾及到地形平坦和起伏较大情形下的压缩编码,研究表明该方法取得了较好的压缩效果,但对于DEM数据的边界问题并未提及,仍需要进一步加以研究。

2.基于小波变换与熵编码相结合的DEM压缩算法

该算法实现主要有3个步骤:①小波变换,即选择恰当的小波基函数对DEM数据进行小波变换;②量化,经过小波变换后数据相比原始数据而言更加集中,但其数量大小并未改变,必须采用一定的量化方法进行数据量化;量化通常有矢量和标量量化两种方法;③编码,通过将小波变换后的量化数据进行编码,将其转化为字符流。就整个小波压缩流程而言,数据经过压缩后边界失真现象的克服,数据压缩比的提高,以及在于量化和编码方法的选择是该压缩算法的难点所在。DEM数据具有不稳定、相关性差、信息熵高,并且DEM在平原地区具有较大的冗余,而在山区则冗余度较低等特点,这使得数据压缩比难以得到提高,常占强等[25]利用具有线性相位的双正交小波变换与混合熵编码相结合的方法对山区DEM数据进行压缩处理,具体来说:首先对DEM数据进行小波变换,通过选取最大分解系数的1/6作为自适应阈值并与硬阈值函数相结合,对小波分解后的高频系数进行处理,能够使得大约95﹪小波系数为0;然后将高频和低频分解系数分别采用游程编码和Huffman编码;最后再次通过游程解码和Huffman解码进行数据解压。该研究充分发挥了小波变换与编码方法各自的优势,在提高数据重建精度的同时获得了较高的压缩比,但小波阈值的选取局限于单一的情形,对多种情形的小波阈值的自适应确定规则的研究仍有待于进一步深入。

3.纹理优化技术与其他方法相结合的DEM数据压缩

纹理数据作为一种重要的场景数据,在对三维DEM数据进行渲染时一般存在两个问题:①由于采用分辨率高而且颜色丰富的纹理,从而存消耗急剧增加;②无法有处理决纹理分辨率与视距之间的关系,即相机与图的距离较近时,图形分辨率较大,相机与图形距离较大时,图形分辨率较小。Mipmap(Multi-imagepyramidmap)技术能够很好解决以上问题,该技术由Willams提出,并很快得到了广泛的研究和应用。从广义角度上分析,DME数据压缩、传输与显示是一个有机整体,同属于DEM数据压缩范畴,即广义DEM数据压缩。杨晓东等[26]结合Mipmap纹理优化技术与顶点法向量编码方法对DEM数据进行压缩处理,该研究主要实现如下功能:①数据的渐进传输和显示:通过对DEM数据进行小波变换,分别采用标量量化器和EZW对小波系数进行量化和编码;②DEM数据优化显示,采用顶点法向量的计算和编码方法并结合Mipmap纹理优化技术,能够对模型数据进行光照效果的计算。该研究突破了将DEM数据的压缩、传输以及优化显示有机结合,突破了现有的DEM数据压缩的固有模式,为该领域提供了一个较好的研究思路。

4.基于判别规则(指标)的DEM数据压缩

TIN由于采用不规则的空间分布高程采样点描述地形,在数据结构、三角网生成算法等方面相对于排列规则且结构简单的Grid数据而言,数据压缩方面难度较大。通过预先定义某一判别规则(指标)来对数据量进行适当的取舍,从而实现对DEM数据的压缩,是实现DEM数据压缩处理的一种有效方法。蔡先华等[27]提出DEM数据压缩地形描述误差(Ep)这一判别指标来实现对DEM数据压缩,该方法首先在充分考虑DEM高程采用点、地形描述以及数据压缩等误差相互影响的基础上,确定数据压缩误差限值EP0;然后对不是TIN边界的高程点产生的地形误差Ep与所给限值进行比较,剔除小于该值的高程点,从而实现DEM数据的压缩。三角网在地形起伏较大的情况下,相邻法线向量之间夹角较大,而当地形平坦时,相邻法线向量近乎平行。刘春[28]等提出一种基于TIN的DEM数据压缩方法,该方法将相邻三角形法线间的夹角作为判别依据,判别阈值步骤如下:①确定大概阈值T,采用该阈值进行TIN压缩;②计算DEM采样点高程差的方差S;③将S与压缩误差允许值进行比较,如果大于该值则适当减少阈值T,并重新计算;反之则增大阈值T并重新计算直到满足要求为止。该方法间接地顾及地形特征,并且阈值的选择是根据所给点的压缩误差指标进行迭代选择的,研究表明该方法对TIN数据压缩较为有效,但对于特殊地面模型的压缩处理仍有待于进一步研究。

结束语

DEM作为地形数字化描述的一种有效手段,是地形分析、三维空间数据处理的核心数据,海量化的数据使得DEM数据处理、存储、传输带来了很大的不便。国内外学者针对DEM数据压缩算法展开了广泛研究,成果丰硕,但在一些方面还需要进一步加以研究:1)DEM数据压缩算法种类繁多,每种压缩算均具有各自优势和缺陷,在充分发挥多种算法的优势基础上加以有效整合,构建组合压缩算法,如传统编码方法与小波变换、小波变换与人工神经网络等,这为DEM数据压缩处理提供了一种有效途径。2)现有的DEM数据压缩算法大体上属于有损压缩范畴,这必然涉及到模型细节的综合取舍,如何结合具体地形设定取舍标准,并且尽可能实现自适应,以更大程度上提高压缩比仍需要进一步深入研究。3)DEM数据压缩的目的在于减少存储空间、提高传输速率以及优化显示,由此看来DEM数据压缩、存储、传输以及显示是一个密不可分有机整体因而同属于数据压缩范畴,即广义DEM数据压缩。相对于广义DEM数据压缩,针对DEM模型数据的压缩则为狭义DEM数据压缩。充分顾及DEM数据压缩、存储、传输显示整个过程,这为DEM数据压缩研究提供了一个全新的思路。#p#分页标题#e#

本文作者:王小兵 孙久运 单位:江苏徐州 中国矿业大学环境与测绘学院