前言：中文期刊网精心挑选了神经网络的复杂度范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络的复杂度范文1
根据预失真器所处的位置，可将预失真分为基带预失真、中频预失真和射频预失真。随着数字信号处理技术的飞速发展，预失真技术可在数字域内实现，具有电路灵活、成本低等优点；而且可利用自适应算法来跟踪补偿功放因环境因素改变而产生的特性变化。图1是数字基带预失真技术结构框图。数字预失真分为查找表法和非线性函数法2大类。其中，非线性函数法包括Volterra级数法和神经网络法。考虑到Volterra级数的计算复杂度较高，一般采用其简化形式（如记忆多项式法）来实现预失真。
1．1查找表法
查找表法是通过建立查找表来离散地描述功放的反向特性，传统的基于查找表法的预失真实现过程如下：1）测试功放的输入／输出信号，获取功放的即时非线性特性；2）找出功放的理想增益，即功放在线性区工作时的最大增益；3）将功放的输入特性／输出特性反转，由此生成查找表，为每一个输入信号提供一个相应的预失真信号。建立查找表之后，须考虑查找表的量化误差问题。由于查找表的表项是有限的，查找表输入端信号量化时，必然会引起误差，此时，采用不同的索引技术会对预失真性能产生不同的影响。作为查找表法的核心，查找表地址索引技术阐释了如何有效地从查找表中找到有用的补偿数据。查找表预失真的内部结构如图2所示，表示输入信号的幅度，Q模块为量化器。查找表的地址索引方法包括均匀量化法和非均匀量化法。均匀量化是以输入信号的幅度为指针，均匀分配其整个变化域以生成查找表。功率法是最常见的均匀量化手段，其把输入信号功率作为指针，在变化域内均匀量化。但对小信号而言，功率法表项分布稀疏，量化间隔较大，引起的误差和失真也很大，因此，该方法不适用于小信号较多的功放预失真系统。传统的查找表法仅根据输入信号幅度，找出表中最接近该幅度值的一项，该项对应的输出值即为相应预失真信号的输出值，不过此方法存在量化误差。采用插值技术可在一定程度上改善系统的量化误差，线性插值法是最简单常用的插值方法。均匀索引的实现过程比较简单，但存在2个重要问题：输入信号的统计特性和各区间信号的非线性程度。常见的非均匀索引有功率索引、最优法索引及μ率法索引等。这些方法虽考虑了信号各区间非线性程度的不同，但却忽视了输入信号的统计特性。由此可知，查找表建立简单，实现容易，但是也存在缺点：1）存在量化效应；2）精度要求越高，对查找表的尺寸要求越高，即表项越多，意味着速度性能会下降；3）不能补偿功放的记忆效应；4）自适应能力较差。为了尽可能减小这些问题对预失真器性能的影响，文献［2－3］对无记忆预失真器进行了改进，分别构造二维查找表和分段预均衡器。但当功放记忆效应较强时，二维查找表的线性化效果不太理想。另外，可根据信号的特性，制定相应的改进查找表法，文献［4］提出了一种改进查找表法，该算法根据OFDM（OrthogonalFrequencyDivisionMultiple－xing，正交频分复用）信号的分布特性，对出现概率较小的大幅值信号增加迭代次数，提高了查找表法的收敛速度。
1．2多项式法
由于查找表法结构简单、易实现，早期多采用该方法对功放进行预失真处理，但其预失真性能的优劣取决于表项的多少，性能改善越好，所需表项越多，相应地，所需的存储空间也就越大，查找表项的数据和更新表项所需时间、计算量也就越大，因此，对情况复杂的系统，该方法不可取。非线性函数法是常用的预失真方法，其将输出信号的采样值与输入信号一一对应起来，用非线性函数把输入和输出信号进行拟合，得到功放的工作函数曲线，由于预失真器的特性与功放特性相反，由功放的非线性函数可得预失真器的非线性工作函数。非线性函数预失真方法已成为近年研究的热点。功放的建模及模型参数的辨识是功放预失真技术的2个重要组成部分。对于功放的建模，常用的无记忆模型包括Saleh模型、Rapp模型和幂级数模型；有记忆模型包括Volterra级数模型、Winner模型、Hammerstein模型和MP（MemoryPolynomial，记忆多项式）模型。分数阶记忆多项式抑制了高阶交调分量，但对强记忆效应的功放预失真性能没有改善；广义记忆多项式明显提升了对强记忆效应的抑制能力，但计算量大，复杂度高。文献［8］在广义记忆多项式的基础上，去掉其滞后部分，降低模型系数数量，去掉偶数阶次，引入分数阶次，提出了一种改进型的广义分数阶记忆多项式模型。仿真表明这种改进模型在系数数量、计算复杂度和线性化能力等方面取得了良好的折中。除上述模型外，增强型Hammerstein模型、EMP（EnvelopeMemoryPolynomial，包络记忆多项式）模型及DDR（DynamicDeviationReduction，动态偏差）模型都是Volterra级数模型的简化形式，这些简化模型可在很大程度上降低计算复杂度。模型建立和模型辨识是记忆多项式预失真的2个重要内容，模型是否合适直接决定预失真方法性能的优劣，如果没有合适的模型，再好的算法也不会取得精确的预失真结果。模型确定之后，选择的模型辨识算法是否得当决定着预失真技术的计算复杂度、收敛速度和性能。系统学习结构很大程度上决定了预失真系统的复杂度，须根据具体情况折中选择学习结构。根据学习器训练方式的不同，可将学习结构分为直接学习结构和间接学习结构，如图3所示。从图3可以看出：直接学习结构简单，是一个完整的闭环，实时性好，且参数不受系统引入噪声的影响［7］。自适应算法得到的权值是否是全局最优值会受到初值的影响，可能不唯一［8］。不同于直接学习结构的逆，间接学习结构采用的是后逆，学习器在训练时，对信号参数的敏感度降低，对实时闭环系统和自适应算法要求不再苛刻，较易于工程实现［9］。预失真训练器的训练过程即预失真模型参数的提取过程，核心是自适应算法不断更新得到的权值最终达到收敛目标值。自适应算法的复杂度和参数提取准确度决定了预失真器的性能及系统实现难易程度。目前参数提取算法大致可分为3类：LS（Least－Squares，最小二乘）算法、LMS（LeastMeanSquare，最小均方）算法和RLS（RecursiveLeastSquares，递归最小二乘）算法。在LMS和RLS的基础上，相继出现了较多的改进算法，比如变步长LMS算法和QR－RLS算法［10－12］。相比查找表预失真，多项式预失真准确度更高、自适应性能更好，但是其计算复杂度却比查找表法高得多，线性化性能优劣也严重受功放模型描述功放特性精确程度的影响。
1．3神经网络法
随着生物仿真学的发展，神经网络算法日益得到人们的广泛关注，引起研究者的探索热情。由于该方法能对功放的非线性特性函数进行拟合，可将其引入预失真器的设计中［13］。神经网络是根据生物学神经元网络的原理建立的，它的自适应系统由许多神经元的简单处理单元组成，所有神经元通过回馈或前向方式相互作用、相互关联。文献［14］首先提出了采用神经网络的方法对功放进行预失真处理。目前最为常用的神经网络是Minsky和Papert所提出的前向神经元网络。神经网络法被广泛应用在函数逼近和模式分类中，文献［15］证明了由任意多个隐层神经元组成的多层前向神经网络可逼近任意连续函数。因此，可利用神经网络来拟合预失真器的工作曲线，且可用改进的反向算法自适应地更新工作函数的系数。文献［16］提出一种单入／单出的神经网络方法，仿真结果表明：该方式能较好地改善三阶、五阶互调分量，与一般的多项式拟合技术相比，其收敛性能和硬件实现都有一定优势。文献［17］提出了一种基于动态神经网络的幅相分离的方法，核心是对卫星信号的幅度和相位进行分离。由于现有的神经网络预失真方法的延时效应较大，文中对网络的系数矩阵进行实时调整，有效减小了计算复杂度，较好地消除了功放非线性和记忆效应，具有较大的实用价值。文献［18－20］也对神经网络法做了相关研究，结果表明：与查找表法和记忆多项式法相比，神经网络有效地提升了功放的预失真精度。目前，在几种参数辨识方法中，神经网络法预失真性能最好，最具有研究价值。
1．4联合查找表和多项式法
在窄带通信系统中，不须考虑功放的记忆效应，但在进行宽带通信时，不可忽略功放的记忆效应，但此时基于查找表法的预失真不能补偿功放的记忆效应，基于记忆多项式的预失真方法可以补偿功放记忆效应。当功放的非线性程度较高时，记忆多项式的预失真性能会有所下降。为解决这个问题，联合使用查找表法和记忆多项式法来补偿功放的非线性和记忆效应。QualidHammi在文献［21］中提出TNTB（TwinNonlinearTwo－Box，双非线性两箱）模型。这种模型由1个MP单元和1个查找表单元构成，按照2个单元位置的不同可分为前向TNTB、后向TNTB和并联TNTB模型。这种方法的核心思想是：将有记忆效应功放引起的信号非线性失真分解为无记忆的非线性部分和记忆部分，根据查找表法和记忆多项式法各自的特点，采用查找表法补偿失真的无记忆非线性部分，采用记忆多项式法来解决失真的记忆效应。文献［22－28］对结合查找表法和记忆多项式法的应用方法做了实验验证，仿真结果证明该方法的预失真性能优于查找表法和多项式法，且并联TNTB模型预失真性能最好。文献［29］在上述联合算法的基础上，推导出最优分段方法，并将这种基于最优分段数的联合预失真算法同上述联合算法进行对比，结果证明最优分段方法能取得更优的效果。为降低TNTB模型的复杂度，MayadaYounes提出一种更精确，同时又能降低复杂度的PLUME（Parallel－LUT－MP－EMP）模型［30］，它由LUT（Look－upTable，查找表法）、MP和EMP并联组成，实验证明PLUME模型精度高于TNTB模型，在保证和GMP同样精度的条件下，能减少45％的系数数量。
2信号处理技术结合预失真技术
为了在有限的频段内实现更多的数据传输，宽带、高峰值平均功率比信号〔如MCM（MultipleCar－rierModulation，多载波信号）〕得到越来越广泛的应用，FDMA（FrequencyDivisionMultipleAccess，频分复用）信号就是多载波传输信号的一种。多载波调制的原理是把高速传输的数据流转换为N路速率较低的子数据流进行传输，符号周期为原来的N倍，远大于信道的最大时延扩展。此时，将1个频率选择性信道划分成N个窄带平坦衰落信道（均衡要求降低），使其具备很强的抗多径和抗干扰能力，适用于高速无线数据传输。但FDMA技术的缺陷在于它的峰均功率比高，因此放大器的非线性特性给通信传输带来的各种问题会更加突出。在数字预失真效果改善的基础上，为进一步提高线性化功放的线性度效率，可根据信号特性采取相应的信号处理技术与预失真项组合方案。针对高峰均比信号，文献［30－32］还提出了以下几种组合方案：DPD与CFR（CrestFactorReduc－tion，削峰技术）的结合，DPD、CFR与Doherty技术的结合，以及DPD、CFR与ET（EnvelopeTrack－ing，包络跟踪）技术的结合等。对CFR的研究已有20多年，随着最近十年现代移动通信的飞速发展，CFR的研究成为热点。相关文献著作中也给出了许多CFR实现方案，可归结如下：限幅滤波法、峰值加窗法及部分序列传输法等。相关的实验仿真已证明，对进入预失真器前的高峰均比信号进行削峰处理，可以提高系统的预失真性能。
3结论
神经网络的复杂度范文2
【关键词】深度学习 卷积神经网络 权值共享 下采样 R-CNN Fast-R-CNN
1 绪论
随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。
1.1 国内外研究现状
1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法，神经网络能够从大量训练数据中的学习到相关统计信息，学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。
自2006年以来，Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法，也影响着我们对人类感知的理解，迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破，使得深度学习在图像分类，语音识别，自然语言处理等领域有广泛的运用。
2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。
2 深度学习概述
深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。
深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。
3 卷积神经网络
卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。
卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。
图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。
4 R-CNN、Fast-R-CNN对比分析
卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。
4.1 R-CNN
R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。
在CNN中，全连接层输入是固定大小的，因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后，要将这些候选区图片进行变换，生成固定大小的候选图片，在训练提取特征时一般采用经过预训练的模型参数进行finetuning，榱嗽黾友盗费本，模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类，在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中，得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算，保存所有后选取图片的特征值，要求计算硬件有大量的存储空间，同时处理每一张图片的时间也会增加。由于训练集庞大，本文采用hard negative mining method方法提高存储的利用率。
R-CNN的体现出了极大的优势，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN计算的时间成本很大，达不到实时的计算效果，R-CNN在对候选区进行处理时会使得图像失真，部分信息丢失。
4.2 Fast-R-CNN
Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。
Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于计算K+1分类的损失，K为第K个目标，1为背景；Regression LOSS计算候选区的四个角的坐标。
Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。
5 实验测试
对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。
训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。
本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。
6 总结
在目标识别定位领域，卷积神经网络具有强大的图像处理能力，对图像的识别定位具有很高度平移，旋转，扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂，对一张图片需要进行1000-2000次的卷积运算，特征重复提取。因此在训练和前向测试时，R-CNN用的时间长，不能很好的适用于处理实时图片数据，尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存，降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知，Fast-R-CNN性能优于R-CNN。
参考文献
[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.
[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.
[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.
[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.
[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.
[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.
[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014
[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.
[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.
神经网络的复杂度范文3
关键字 ：神经网络，BP模型，预测
中图分类号：TP183文献标识码： A
1 引言
在系统建模、辨识和预测中，对于线性系统，在频域，传递函数矩阵可以很好地表达系统的黑箱式输入输出模型；在时域，Box-Jenkins方法、回归分析方法、ARMA模型等，通过各种参数估计方法也可以给出描述。对于非线性时间序列预测系统，双线性模型、门限自回归模型、ARCH模型都需要在对数据的内在规律知道不多的情况下对序列间关系进行假定。可以说传统的非线性系统预测，在理论研究和实际应用方面，都存在极大的困难。相比之下，神经网络可以在不了解输入或输出变量间关系的前提下完成非线性建模[4，6]。神经元、神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性，与各种预测方法有机结合具有很好的发展前景，也给预测系统带来了新的方向与突破。建模算法和预测系统的稳定性、动态性等研究成为当今热点问题。目前在系统建模与预测中，应用最多的是静态的多层前向神经网络，这主要是因为这种网络具有通过学习逼近任意非线性映射的能力。利用静态的多层前向神经网络建立系统的输入/输出模型，本质上就是基于网络逼近能力，通过学习获知系统差分方程中的非线性函数。但在实际应用中，需要建模和预测的多为非线性动态系统，利用静态的多层前向神经网络必须事先给定模型的阶次，即预先确定系统的模型，这一点非常难做到。近来，有关基于动态网络的建模和预测的研究，代表了神经网络建模和预测新的发展方向。
2 BP神经网络模型
BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。如图1所示，BP神经网络包括以下单元：①处理单元(神经元)（图中用圆圈表示），即神经网络的基本组成部分。输入层的处理单元只是将输入值转入相邻的联接权重，隐层和输出层的处理单元将它们的输入值求和并根据转移函数计算输出值。②联接权重(图中如V,W)。它将神经网络中的处理单元联系起来，其值随各处理单元的联接程度而变化。③层。神经网络一般具有输入层x、隐层y和输出层o。④阈值。其值可为恒值或可变值，它可使网络能更自由地获取所要描述的函数关系。⑤转移函数F。它是将输入的数据转化为输出的处理单元，通常为非线性函数。
图1 BP神经网络结构
2.1 基本算法
BP算法主要包含4步，分为向前传播和向后传播两个阶段：
1）向前传播阶段
（1）从样本集中取一个样本（Xp，Yp），将Xp输入网络；
（2）计算相应的实际输出Op
在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时的执行过程。
2）向后传播阶段
（1）计算实际输出Op与相应的理想输出Yp的差；
（2）按极小化误差的方式调整权矩阵。
这两个阶段的工作受到精度要求的控制，在这里取 作为网络关于第p个样本的误差测度，而将网络关于整个样本集的误差测度定义为 。图2是基本BP算法的流程图。
图2 BP基本算法流程
2.2 动态BP神经网络预测算法
在经典的BP算法以及其他的训练算法中都有很多变量，这些训练算法可以确定一个ANN结构，它们只训练固定结构的ANN权值（包括联接权值和结点转换函数）。在自动设计ANN结构方面，也已有较多的尝试，比如构造性算法和剪枝算法。前一种是先随机化网络，然后在训练过程中有必要地增加新的层和结点；而剪枝法则正好相反。文献[2]中提出了演化神经网络的理念，并把EP算法与BP进行了组合演化；也有很多学者把遗传算法和BP进行结合，但这些算法都以时间复杂度以及空间复杂度的增加为代价。根据Kolmogorov定理,对于任意给定的L2型连续函数f: [ 0, 1 ]n Rm , f可以精确地用一个三层前向神经网络来实现，因而可以只考虑演化网络的权值和结点数而不影响演化结果。基于此，在BP原有算法的基础上，增加结点数演化因子，然后记录每层因子各异时演化出的结构，最后选取最优的因子及其网络结构，这样就可以避免由于增加或剪枝得到的局部最优。根据实验得知，不同的预测精度也影响网络层神经元的结点数，所以可根据要求动态地建立预测系统。具体步骤如下：
（1）将输入向量和目标向量进行归一化处理。
（2）读取输入向量、目标向量，记录输入维数m、输出层结点数n。
（3）当训练集确定之后，输入层结点数和输出层结点数随之而确定，首先遇到的一个十分重要而又困难的问题是如何优化隐层结点数和隐层数。实验表明，如果隐层结点数过少，网络不能具有必要的学习能力和信息处理能力。反之，若过多，不仅会大大增加网络结构的复杂性（这一点对硬件实现的网络尤其重要），网络在学习过程中更易陷入局部极小点，而且会使网络的学习速度变得很慢。隐层结点数的选择问题一直受到神经网络研究工作者的高度重视。Gorman指出隐层结点数s与模式数N的关系是：s＝log2N；Kolmogorov定理表明，隐层结点数s＝2n＋1（n为输入层结点数）；而根据文献[7]：s＝sqrt（0.43mn＋0.12nn＋2.54m＋0.77n＋0.35）＋0.51[7]。
（4）设置结点数演化因子a。为了快速建立网络，可以对其向量初始化，
并从小到大排序[4，7]。
（5）建立BP神经网络。隐含层传递函数用tansig，输出层用logsig，训练函数采用动态自适应BP算法，并制订停止准则：目标误差精度以及训练代数。
（6）初始化网络。
（7）训练网络直到满足停止判断准则。
（8）用测试向量对网络进行预测，并记录误差和逼近曲线，评估其网络的适应性。其适应度函数采取规则化均方误差函数。
（9）转到（5），选取下一个演化因子，动态增加隐含层结点数，直到最后得到最佳预测网络。
3 基于神经网络的预测原理[4]
3.1 正向建模
正向建模是指训练一个神经网络表达系统正向动态的过程，这一过程建立的神经网络模型称为正向模型，其结构如图3所示。其中，神经网络与待辨识的系统并联，两者的输出误差用做网络的训练信号。显然，这是一个典型的有导师学习问题，实际系统作为教师，向神经网络提供算法所需要的期望输出。当系统是被控对象或传统控制器时，神经网络多采用多层前向网络的形式，可直接选用BP网络或它的各种变形。而当系统为性能评价器时，则可选择再励学习算法，这时网络既可以采用具有全局逼近能力的网络（如多层感知器），也可选用具有局部逼近能力的网络（如小脑模型控制器等）。
图3 正向建模结构
3.2 逆向建模
建立动态系统的逆模型，在神经网络中起着关键作用，并且得到了广泛的应用。其中，比较简单的是直接逆建模法，也称为广义逆学习。其结构如图4所示，拟预报的系统输出作为网络的输入，网络输出与系统输入比较，相应的输入误差用于训练，因而网络将通过学习建立系统的逆模型。但是，如果所辨识的非线性系统是不可逆的，利用上述方法将得到一个不正确的逆模型。因此，在建立系统时，可逆性应该先有所保证。
图4 直接逆建模结构
4 应用实例分析
以我国西南某地震常发地区的地震资料作为样本来源，实现基于动态神经网络的地震预报。根据资料，提取出7个预报因子和实际发生的震级M作为输入和目标向量。预报因子为半年内M>=3的地震累计频度、半年内能量释放积累值、b值、异常地震群个数、地震条带个数、是否处于活动期内以及相关地震区地震级。在训练前，对数据进行归一化处理。由于输入样本为7维的输入向量，一般情况下输入层设7个神经元。根据实际情况，输出层神经元个数为1。隐含层神经元的传递函数为S型正切函数，输出层也可以动态选择传递函数。实例数据来自文献[4]，将数据集分为训练集、测试集和确定集。表1中的7×7数组表示归一化后的训练向量，第一个7表示预报因子数，第二个7表示样本数。
表1 归一化后的训练向量
在不同神经元数情况下，对网络进行训练和仿真，得到如图5所示的一组预测误差曲线。其中，曲线A表示隐层结点数为6时的预测误差曲线，曲线B表示隐含层结点数为3时的预测误差曲线，曲线C表示隐含层结点数为5时的预测误差曲线，曲线D表示隐含层结点数为4时的预测误差曲线。将五种情况下的误差进行对比，曲线C表示的网络预测性能最好，其隐含层神经元数为5，图中曲线E表示的是隐含层结点数为15时的预测误差曲线（文献[4]中的最好结果）。同时也证明，在设计BP网络时，不能无限制地增加层神经元的个数。若过多，不仅会大大增加网络结构的复杂性，网络在学习过程中更易陷入局部极小点，而且会使网络的学习速度、预测速度变得很慢。
图5 不同神经元数预测误差对比曲线
5 结论
本文针对基本的BP神经网络，提出了可动态改变神经元数（与精度相关）的BP神经网络预测方法，可以根据实际情况建立预测系统。用此种方法可以建立最好的神经网络，不会有多余的神经元，也不会让网络在学习过程中过早陷于局部极小点。
参考文献
[1]潘正君，康立山，陈毓屏. 演化计算[M ]. 北京:清华大学出版社，1998
[2]飞思科技产品研发中心. 神经网络理论与实现. 北京:电子工业出版社，2005
[3]蔡晓芬，方建斌. 演化神经网络算法. 江汉大学学报，第33卷第3期，2005.9
神经网络的复杂度范文4
关键词：全卷积神经网络；显著性预测；缩略图生成
中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2017）14-0149-02
1概述
缩略图是一种经压缩方式处理后的图片，在小尺度下包含了原图像大部分有效信息，可广泛应用于图像快速索引、网页超链接等多个领域。目前相关算法多采用固定分辨率缩放及中央裁剪等固定规则进行缩略图生成，而忽视图像自身具有的内容信息。为提高缩略图携带的有效信息，该文利提出一种利用全卷积神经网络对图像进行显著性预测，再由显著点密度自动获取图像中包含最有意义信息的区域进行截取，进而生成图像内容相关缩略图的算法。
2算法设计
为生成面向图像信息的自适应缩略图，该方法由两部分组成。第一部分为图像识别模块，主要工作是得到图像的显著性图；第二部分为自适应滑动窗口模块，主要工作是得到窗口内平均显著度最强的窗口坐标。
2.1显著性A测
该文在缩略图截取区域识别阶段采用显著性预测算法作为识别手段。显著性预测是目前非常活跃并正在不断取得突破性进展的机器视觉领域下的一个子领域，是一种模拟人类注意力机制的算法。其主要目标是对图像（画面）中吸引人注意的地方（显著性区域）进行自动的识别与提取，并生成与输入图像尺度对应的一张灰度图。其生成的灰度图中的高亮度区域代表具有显著性物体，如汽车、人脸、字母等，并且服从高斯分布。根据特征融合理论（Feature Integration Theory），目前已有多种基于卷积神经网络的显著性预测算法被提出（如DeepFix、SALICON等），并极大的提高了显著性识别的精度。
2.2卷积神经网络概述
为生得到面向内容的缩略图截取坐标，首先需要对图像内容进行识别，并对图像每个区域的重要程度进行分类。近年来由于GPU并行运算性能的突破性进步以及基于大数据技术的训练数据集扩充，深度卷积神经网络（Deep Convolutional Neu-ral Networks，DCNNs）在包括图像识别、目标跟踪及显著性预测等多个图像处理领域上的任务都取得了极大的提升。而预训练参数（Pretraining）与转移学习（Transfer Learning）等技术进一步提升了CNNs在多项图像处理任务中的泛化能力及可用性，因此该文采用截断VGG19模型为预训练网络，进行显著点识别及缩略图。全卷积神经网络与传统的全连接神经网络类似，均采用梯度下降算法对权值进行更新。不同点在于，全卷积神经网络每次更新的值包括卷积核的值以及该卷积核的权值。
2.3网络结构
该文所采用的全卷积神经网络采用截断的VGGl9预训练模型的前10层组成。VGGl9由进行图像识别（物体分类）的ImageNet数据集训练而成，可精确识别数据集中1000中物体分类，故其所学习的卷积核参数包含有丰富的物体信息。
其中网络的具体成分主要由10层卷积模块及3层最大池化层组成，而卷积模块依次由一层卷积层，一层批量归一化层以及一层ReLU（Rectified Linear Unit）激活函数层组成。其中前8层卷积层由普通3×3大小，1×1步长的卷积核组成，后两层卷积层由带2×2洞的3×3大小（故实际感受野为5×5），步长1×1的卷积核组成。
网络结构如图1所示。
2.4缩略图生成
由全卷积神经网络识别并得到的显著性图为灰度值为0-255的灰度图，大的灰度值代表高显著性激活度。在得到对应图像的显著性图之后，方法采用步长为10像素的滑动窗口对显著性图进行遍历，并选择所窗口内激活程度最高的区域所处坐标作为缩略图截取坐标。对于有多个相同激活值的区域则选取距离图像中心最近的区域所处坐标为缩略图截取坐标。最后通过对原始输入图像中对应缩略图截取坐标进行截取，得到最终缩略图。
3实验设计
根据算法流程，该方法中实验设计也可分为两部分：第一部分为训练用于得到显著点坐标的全卷积神经网络，第二部分为设计并实现基于显著性图的动态步长滑动窗口方法。
3.1网络参数及训练数据设置
该方法训练数据选自开放数据集MIT1003及SALI-CONt31。实验采用批量训练方法，每批数据由128个样本组成，共训练2000个批次。网络采用绝对平均误差（Mean AbsoluteError，MAE）为损失函数（如公式1所示），并采用改进的梯度下降算法Adam算法进行权值更新，以提高网络鲁棒性及收敛性。网络收敛曲线如图2所示。
3.2滑动窗口设计
在得到输入图像的显著性图之后，所提方法通过滑动窗口截取缩略图，并通过自适应步长降低算法的时间复杂度。自适应步长通过由当前窗口内显著性图的平均激活值得到。步长的最大分辨率为40像素，最小分辨率为5像素，当当前窗口内平均激活值小于预设阈值时，下一次窗口的滑动步长增加为当前步长2倍，直至增大到最大分辨率步长。当当前窗口呢平均激活值大于预设阈值时，则每一次滑动减小位原步长的1/2，直至衰减到最小分辨率步长。
3.3实验结果
在验证及测试阶段，采用的测量标准为AUC-Judd，相关系数（Correlation Coefficient）以及KL散度（Kullback-Leibler Diver-gence）。其中AUC-Judd越大越好，KL散度越小越好。训练收敛后以以上测量标准在MIT1003数据集上进行了验证测试，所得结果如表一所示。表一表面该方法在显著性预测上超过了传统方法，取得了较好的结果。
图3对所提方法得到的缩略图进行了直观展示。从中可知所提方法在缩略图生成的过程中对图像本身信息进行了有效提取且得到了有效的显著性图，并由该显著性图通过滑动窗口得到了缩略图所需的正确截取坐标。最后得到的缩略图对于原图像本身信息具有高代表性，且并未损失分辨率信息。
神经网络的复杂度范文5
关键词：电加热炉；BP神经网络；PID控制
中图分类号：TP23文献标识码：A文章编号：1672-3198（2008）05-0322-02
1 基于BP神经网络的PID控制
BP算法是在导师指导下，适合于多层神经元网络的一种学习，它是建立在梯度下降法的基础上的。理论证明，含有一个隐含层的BP网络可以实现以任意精度近似任何连续非线性函数。
BP神经网络结构如图1所示，由三层(输人层、隐含层、输出层)网络组成，使输出层的神经元状态对应PID控制器的三个可调参数Kp、Ki、Kd。通过神经网络的自学习、加权系数调整使神经网络输出对应于某种最优控制律下的PID控制器参数。
图1 BP网络结构
基于BP(Baekpropgation)网络的PID控制系统结构如图2所示，控制器由常规的PID控制器和神经网络两部分组成，常规PID控制器直接对被控对象进行闭环控制，并且其控制参数为Kp、Ki、Kd在线调整方式；神经网络根据系统的运行状态，调节PID控制器的参数，以期达到某种性能指标的最优化，使输出层神经元的输出对应于PID控制器的三个可调参数Kp、Ki、Kd。通过神经网络的自学习、加权系数的调整，使神经网络输出对应于某种最优控制规律下的PID控制器参数。
图2 神经网络PID控制器结构图
2 改进型BP神经网络
基本BP神经网络主要存在以下两个缺陷：其一，传统BP网络是一个非线形优化问题，不可避免的存在局部极小问题。网络的权值和阀值沿局部改善的方向不断修正，力图达到使误差函数 最小化的全局解，但实际上常得到的是局部最优点；其二，学习过程中，误差函数下降慢，学习速度缓，易出现一个长时间的误差坦区，即出现平台。
目前已有不少人对此提出改进的方法。如在修改权值中加入“动量项”，采用Catchy误差估计器代替传统的LMS误差估计器等。本文在此探讨通过变
换梯度来加快网络训练的收敛速度的共轭梯度算法,利用这种算法改善收敛速度与收敛性能。改进共轭梯度算法在不增加算法复杂性的前提下可以提高收敛速度，并且可以沿共轭方向达到全局最优即全局极值点。它要求在算法进行过程中采用线性搜索，本文采用Fletcher-Reeves线性搜索方法，以保证算法的收敛速度。
将改进共轭梯度法应用于BP网络的控制算法如下：
1)选取初始点w(0)和初始搜索方向d(0)=-g(0)；
2)对k=0，1，2，…，n-1,BP网络的权值修正公式为
w(k+1)=w(k)+α(k)d(k)(1)
式中：α(k)为学习速率，使式(1)取得极小；d(k)为第k次迭代的共轭方向。
3)计算新的梯度矢量g(k+1)；
4)若k=n-1，则用w(n)代替w(0)，并返回步骤(1)；否则转步骤(5)；
5)计算第(k+1)迭代的共轭方向
d(k+1)=-g(k+1)+β(k)d(k)(2)
式中
β(k)=gT(k)g(k)gT(k-1)g(k-1)（Fletcher-Reeves公式）(3)
6)如果dT(k+1)g(k+1)>0，则用w(n)代替w(0)，并返回步骤(1)；否则转步骤(2)。
3 仿真试验
本文以电加热炉为控制对象，其数学模型可以用一阶惯性环节加上一个大的纯滞后环节来表示，传递函数为：
G(s)=KpTps+1e-τs=148286s+1e-200s
构造两个3-5-3结构的BP神经网络，以误差、误差的积分、误差的微分为网络的输入；选取学习速率η=0.01、惯性系数α=0.04，加权系数初始矩阵取区间［0 0.5］上的随机数，传统与改进的BP神经网络的加权系数分别使用负梯度法、改进共轭梯度法进行自整定。
由于电加热炉是温度参数的定值控制，且存在干扰和对象参数变化的情况，为验证改进BP神经网络PID控制的效果，分别对其跟踪设定值特性、及适应对象参数变化的能力进行仿真研究，并与基于传统BP神经网络PID控制器的控制效果进行比较分析。图3为单位阶跃响应曲线，图4为过程对象单位阶跃响应曲线是在控制器参数不变的情况下改变对象G(S)参数的仿真结果。(注:以下各图中实线或“I”均表示改进BP神经网络PID控制结果，虚线、点线或“T”表传统BP神经网络PID控制器的控制结果;A、B、C分别表示G(S)三种参数变化了的模型)
从仿真结果看，改进BP神经网络PID控制器比传统BP神经网络PID控制器在控制性能上有了一定程度的提高，尤其是在系统稳定时间和抗干扰性方面的优化较为明显。这主要是因为在BP算法中采用了改进共轭梯度法，加快了BP算法的收敛速度，从而保证了系统稳定时间较短，又具有较好的泛化能力，因此，具有较强的抗干扰和适应参数变化的能力
4 结论
改进共轭梯度BP算法在不增加算法复杂度的情况下，通过梯度的共轭方向来寻求网络的全局最优值，从而避免网络陷入局部极小值。本文将其替代传统的BP算法构造智能PID控制器，并进行了以电加热炉为模型的控制系统仿真。结果表明，这种改进算法能够有效提高网络的训练速度，改善网络的收敛性能，避免网络陷入局部极小值，取得了良好的控制性能。
参考文献
［1］陈巍, 吴捷. 具有辅助调节功能的递归神经网络自适应PID控制［J］. 信息与控制, 2000, 29(5): 461-470.
［2］李奇, 李世华. 一类神经网络智能PID控制算法的分析与改进［J］. 控制与决策, 1998, 13(4): 312-316.
［3］李士勇著. 模糊控制、神经控制和智能控制论［M］. 哈尔滨: 哈尔并工业大学出版社, 1996.
［4］高隽. 人工神经网络原理及仿真实例［M］. 北京:机械工业出版社, 2003, 7-20.
神经网络的复杂度范文6
【关键词】神经网络 BP算法 质差
[Abstract] As BP neural network can approximate all nonlinear functions with arbitrary precision， has the abilities in parallel distributed storage， high robustness and fault tolerance， it appropriate for solving complex non-linear problem affected by multiple factors. In this paper， a prediction method based on BP neural network is presented. Then， its principle， modeling process and application in Rxquality prediction are expounded.
[Key words]neural networks BP algorithm Rxquality
1 引言
为了更好地提升语音质量，2014年广东移动新增GSM上下行质差话务比例考核指标，为全网所有小区六忙时MR测量报告样本总和中Rxquality 6、7级样本的占比，占公司经营业绩考核5分。虽然东莞分公司的上下行质差话务比例指标在一类地市最好，但是在全省排名靠后。由于上下行质差话务比例指标一直居高不下，严重影响客户感知，为了更好地优化上下行质差话务比例指标，亟需研究和建立上下行质差话务比例量化与预测模型，用于后续指导质差专项整治工作。考虑到上下行质差话务比例受新建宏站、基站停闭、天线调整、私装等众多因素的影响，包含确定性因素与不确定性因素，具有非线性的特征，利用BP神经网络算法搭建复杂因素的质差量化与预测数学模型，为后续网络优化工作提供理论依据。
2 基于BP算法的多层感知器的工作原理
BP（Back Propagation）网络是神经网络中的一种典型结构，其具有分层结构，信息从输入层进入网络，逐层向前传递至输出层。根据神经元转移函数、隐层数以及权值调整规则的不同，可以形成具有各种功能特点的神经网络。BP神经网络模型拓扑结构包括输入层（input）、隐层（hide layer）和输出层（output layer），学习过程通过信号的正向传播与误差的反向传播来不断调整权值和阈值，此过程一直进行到网络输出的误差减少到可接受的程度。随着学习过程的进行，该网络对已经结果的复制会变得越来越准确，一旦训练完毕，就可以将神经网络应用到未来结果的未来案例中。
BP神经网络模型如图1所示：
3 基于BP算法的多层前馈网络在质差建
模中的应用
神经网络可以近似多种预测模型，而对模型结构和假设只有最小需求，关系形式在学习过程中确定。如果目标与预测变量间的线性关系适当，则神经网络结果会非常接近传统线性模型的结果；如果非线性关系更为适当，则神经网络会自动接近“正确”的模型结果。利用神经网络的这些功能特点，可以建立质差预测模型。下面使用专业数据分析工具SPSS Modeler软件提供的自动建模工具（神经网络算法）进行质差预测建模，如图2所示。
3.1 输入输出变量的选择
神经网络输入与输出变量的选择是模型设计和训练的基础，数据选择的合理性对模型设计精度与准确性十分重要。输出变量的选择相对容易，是一个或多个预测变量的值；而输入变量则必须选择那些对输出影响大且能够检测或提取的变量，此外还要求各输入变量之间互不相关或相关性很小，使其具有能用期望精度的数学函数来拟合输入输出之间的映射关系。
根据协议规定，质差采样点与C/I关系对照表如表1所示，C/I低是产生质差采样点的根本原因。目前集团公司定义6、7级属于高质差，因此C/I
根据C/I的定义，当有用信号C过小或者噪声I过大时将产生质差，究其原因分为3类：弱覆盖、干扰、硬件故障。针对这3类主要影响因素，采用因素分析法深入挖掘、细化每项影响因素，逐一筛选作为质差建模的输入与输出变量。质差话务比例影响因素思维导图如图3所示。
3.2 输入输出数据预处理
数据的标准化是将数据按比例缩放，使之落入一个小的特定区间，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。
进行数据标准化的原因主要如下：
（1）神经网络的输入数据具有不同的物理意义和量纲，数据标准化可消除量纲的影响，使网络的输入与输出变量处于同样重要的地位，输入变量的重要性由模型自行计算确定。
（2）神经网络的转移函数均采用softmax、双曲正切或sigmoid函数，其取值范围为[-1，1]，输入数据标准化处理可防止因输入饱和而使得神经网络的泛化能力下降。
对输入输出向量进行归一化处理，将输入值处理到（0，1）区间内。如输入变量天线调整数量，标准化为：Ai=（（Ai-Amin）/（Amax-Amin）），A代表栅格内天线调整数量。
3.3 BP网络结构设计
针对不同的应用适宜采用不同的神经网络，模型选择的任务是根据给定数据建立一个具有最优复杂度的模型。隐藏层包含无法观察的网络节点，每个隐藏单位是一个输入权重总和的函数，该函数是激活函数，而且权重值由估计算法确定。如果网络包含第2个隐藏层，则第2个隐藏层中的每个隐藏单位是第1个隐藏层中权重之和的函数。
隐节点的作用是从样本中提取并存储其内在的规律，设置多少个隐节点取决于训练样本数的多少、样本噪声的大小以及样本中蕴含规律的复杂程度。对于质差预测问题，可以看作是一个影响因素到质差话务比例指标值之间的非线性映射。由于一个3层BP网络可以以任意精度去逼近任意映射关系，因此本例采用3层BP网络结构。隐含节点数的选择是神经网络设计较为关键的一步，其直接关系到网络的复杂程度与泛化能力。采用试凑法确定最佳隐节点数，用样本集进行训练，从中确定网络误差最小时的隐节点数为12。
3.4 BP网络训练与测试
网络设计完成后，经训练与学习后的预测模型是否能对未在训练集中出现的样本做出正确反映的能力是评判网络性能好坏的唯一标准。而对神经网络性能好坏的检测要用训练样本集以外的数据，即新鲜样本集，如果神经网络通过对已有样本学习后能够对新的样本集做出准确预测，则说明模型泛化能力较强，达到模型与预期效果。BP网络泛化能力如图4所示：
经过对模型进行训练与学习，栅格质差预测值落入真实值正态分布区间（μ-1.96σ，μ+1.96σ）范围内认为预测准确，上下行质差话务比例模型准确性为91.2%。质差话务比例模型准确性如图5所示。
4 预测结果分析
（1）通过BP神经网络对质差预测的方法是切实可行的，神经网络具有高度鲁棒性和容错性，且具有充分逼真的非线性关系，是一种比较实用的预测方法。
（2）通过神经网络算法建立上下行质差话务比例预测模型，为质差优化提供有效可行的数理统计模型。
（3）适用于各类运维类性能指标受多重因素交叉影响的指标建模与工作管控，如干扰预测、GSM下载速率等。
5 结束语
本文中应用的数学建模算法是BP神经网络，适合解决复杂的非线性问题，有成熟的理论基础，适用于各类运维类性能指标受多重因素交叉影响的指标建模与工作。与此同时，由于因素之间存在交叉影响，运算量极大，因此需要IBM SPSS Modeler软件工具进行支撑，使建模工作得以大大简化。
BP网络自身还存在着一些缺陷，特别是隐层数和隐节点数的选取尚无理论依据，通常是采用试凑法来确定。不同的隐层数和隐节点数会形成不同类型与功能的神经网络模型，将影响神经网络拟合和预测效果，本文所选取的隐含节点数12就是根据多次训练与学习得出。
而BP神经网络突出的优点是具有很强的非线性映射能力和多元化的网络结构，与传统的人为分析统计建模方法相比，其预测精度较高，且预测方法较科学。
参考文献：
[1] 施彦，韩力群，廉小亲. 神经网络设计方法与实例分析[M]. 北京： 北京邮电大学出版社， 2009.
[2] 韩力群. 人工神经网络理论、设计及应用[M]. 2版. 北京： 化学工业出版社， 2007.
[3] 阎平凡，张长水. 人工神经网络与模拟进化计算[M]. 2版. 北京： 清华大学出版社， 2005.
