前言：中文期刊网精心挑选了神经网络的优化方法范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
神经网络的优化方法范文1
关键词免疫遗传算法 模糊 精馏塔
中图分类号TP273
A control simulate study of fuzzy-neron controller optimized by immune
genetic algorithm (IGA) used in full order rectification column model
GUO Xiaoqing(1), YAN Qiong(2)
(1)The Second Middle School, Ji’an of Jiangxi Province 343000
(2)The ChangTang Middle School, Ji’an of Jiangxi Province 343000
Abstract A fuzzy controller optimized by immune genetic algorithm (IGA). By utilizing the global search ability of immune genetic algorithm(IGA) and self-learning ability of neuron controller, the new approach increases the control accuracy of fuzzy controller and improves its ability of anti-interference. The simulation result, which was obtained by applying the method to full order rectification column model, shows static error was effectively reduced and the robustness of the new approach in controlling shock in the process was satisfactory. Also, the advantages of this new approach are shown in practical applications.
Keywords Immune genetic algorithm; Fuzzy; Rectification Column
1．引 言
精馏是炼油、化工生产中应用最为广泛的传质传热过程。精馏塔不仅模型难以建立而且控制方案复杂。许多学者在精馏塔的模型建立和控制仿真上做了大量的研究并取得了良好的效果。本文设计了一种免疫遗传算法优化的模糊控制器对基于奇异摄动法降阶的精馏塔模型进行控制仿真研究。结果表明，这种控制器的控制效果在控制精度和过渡过程的效果上都表现出良好的效果。
2．控制算法
精馏塔最直接的质量指标是产品纯度。过去由于检测上的困难，难以直接按产品的纯度进行控制。现在随着分析仪表的发展，特别是工业色谱仪的在线应用，已逐渐出现直接按产品纯度来控制的控制方案。
直接按产品纯度的控制方案的好处在于：直接可以控制产品的质量。但是这种控制的难点在于被控变量的可调范围小(只能在0～1区间变化)。根据这种现实情况，本文设计了一种免疫微粒群算法调节增益的模糊控制器。其具体算法如图1：
神经网络的优化方法范文2
【关键词】双目视觉;神经网络;摄像机标定
1.引言
双目测距技术在非接触式测量，机器人视觉等领域都有广泛引用。本文研究的是被动式远距离目标的距离测量系统中系统的标定技术研究，双目测距系统标定方法研究对计算机视觉技术发展有重要意义。摄像机标定的目的在于确定摄像机的位置，以确定物体在空间坐标系与成像平面之间相应的位置关系。
这些位置关系以及摄像机光学和几何参数在一些场所并不需要一一解出，而只需要构建二维成像平面上像点坐标与三维空间坐标投影点之间的一种映射关系。而神经网络有非常强的非线性映射能功能，因此我们可以通过采用神经网络对摄像机进行标定。
2.基于神经网络的摄像机的标定方法
2.1 神经网络、双目视觉神经网络摄像机标定
人工神经网络也称神经网络，是一门新兴技术，用以处理一些难以用标准数学模型描述的系统，模拟人类大脑的一些机理，实现某些特定功能。它具有很强的自学习及自适应能力，而其中可自由设定隐层节点的多层前馈神经网络，可以完成任意精度近似任意连续函数[1，2]。
由于网络由相连的非线性单元组成，因此就具有了学习非线性过程的能力。与摄像机标定工作机制相似，神经网络可以从一些已知数据通过计算得到未知参数。而神经网络标定的畸变模型有任意性，可以避免传统标定方法非线性标定可能无解、标定精度低等多种问题。本文通过运用神经网络学维平面图像像点与三维空间物点坐标之间的关系，提出了改进神经网络双目摄像机的标定方法。
本文双目视觉神经网络摄像机标定具有的优点是不用假设初始值，也不用建立精确的标定模型，只要输入三维空间中物体在两个图像上的像点坐标，神经网络便可输出物体在的三维空间的世界坐标。进行多次的神经网络学习、训练，最后可得到相对理想的输入、输出非线性映射关系。
2.2 改进的RBF神经网络
径向基函数（Radial Basis Function， RBF）神经网络是一种三层前向神经网络，它结构简单，训练简洁，学习收敛速度快，能够以任意精度逼近任意连续函数，广泛应用于众多领域[3，4]。RBF网络模拟了人脑中局部调整、相互覆盖接收域的神经网络结构，是一种局部逼近网络。并且RBF神经网络在逼近能力、分类能力及学习速度等多方面都优于BP神经网络，
遗传算法是模拟生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟生物在自然进化过程中形成的一种自适应全局优化搜索最优解的方法[5]。
本文提出了一种基于改进的RBF神经网络的摄像机标定方法，引入了遗传算法，优化了径向基函数网络的学习算法。
2.2.1 RBF网络的结构
RBF网络是一种三层前向网络，三层分别是输入层，隐藏层和输出层。输入层由信号源节点组成;输出层是对输入作出响应;隐藏层中节点数由需要而定，其中的径向基函数是局部响应函数。
从输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间是线性的。RBF网络是局部逼近网络，三层组成（m个输入、h个隐节点、n个输出），常用的径向基函数是高斯函数，因此径向基神经网络的激活函数可表示为：
（1）
式中：是欧式范数;X是输入样本，;是高斯函数的中心，也是网络隐含层节点的中心;为高斯函数的方差;i是隐含层节点数。
RBF网络的结构输出为：
（2）
式中：wij是隐含层到输出层的连接权值;yj是第j个输出节点的实际输出。
假设d是样本的期望输出值，则基函数的方差为：
（3）
式中：P是样本总数。
RBF网络学习方法求解需要的参数：基函数的中心、方差以及隐含层到输出层的权值。RBF网络的输出是隐单元输出的线性加权和。本文采用的是自组织选取中心法。
2.2.2 优化的RBF神经网络
本文加入遗传算法用以优化已有的神经网络，用全局搜索找到最优网络结构，确定较理想非线性映射关系，进而达到双目视觉的标定。采用实数编码、最佳保留（elitist model）选择机制，交叉概率采用自适应方式，再对数据做归一化处理。
2.3 整体算法步骤
用遗传算法对神经网路的参数进行优化，得到权值与偏差值范围。再用RBF网络在局部搜索得出最优网络结构标定系统。
1）将多组对应的双目视觉系统图像像点坐标作为输入的训练样本，组成群体;
2）采用梯度下降法学习样本网络个体基函数的中心、方差;
3）采用最小二乘法学习隐含层到输出层的线性权值;
4）采用遗传算法优化隐含层中节点数;
5）通过循环交替学习、训练，得到相对理想的RBF网络标定系统。
3.实验说明
分别采用线性标定、标准BP网络、和改进的RBF网络做双目视觉标定，后两种做非线性函数逼近，对测试结果进行比较。得出结果：较其他两种，改进的RBF网络测试误差最小。
表1 测试结果比较
隐节点数 训练误差 测试误差
线性标定 * * 0.2945
标准BP 26 0.0935 0.0356
改进RBF 13 0.0576 0.0123
4.结论
在不考虑镜像畸变及环境等因素的形象下，将基于改进的RBF神经网络应用于双目视觉摄像机标定方法中，提高了测量精度，减少了因传统标定方法建立的模型不完善而带来的误差，为双目视觉测量应用于精密测量提供了一种新的有效方法。标定后的测量系统在双目视觉空间具有很高的测量精度。
参考文献
[1]阎平凡，张长水.人工神经网络与模拟进化计算[M].清华大学出版社，2000：410-420.
[2]钱光耀，杨入超，赵光兴.基于人工神经网络的压力传感器三维数据融合[J].传感器与微系统，2007，26（2）：79-81.
[3]Liu Hongmei，Ouyang Pingechao，Wang Shaoping.Fault detection based on RBF neural network in a hydraulic position servo system[A].The 6th World Congress on Control and Automation[C].Dalian， China，2006：5708-5712.
[4]杨耀华，李昕，江芳泽.基于OLS算法的RBF神经网络高速公路事件探测[J].系统仿真学报，2003，15（5）：709-712.
神经网络的优化方法范文3
关键词：神经网络 化工 应用
一、前言
人工神经网络是一个多科学、综合性的研究领域，它是根据仿生学模拟人体大脑结构和运行机制构造的非线性动力学系统[1]。神经网络可以看作是一种具有自组织、自学习能力的智能机器，它能模仿人的学习过程，通过给网络各种范例，把网络的实际输出与希望输出比较，根据偏差修改节点间的连接权，直到获得满意的输出。现已广泛应用于经济学、军事学、材料学、医学、生物学等领域。
化工过程一般比较复杂， 对象特性多变、间歇或半连续生产过程多，具有严重非线性特性。因此，其模型化问题一直是研究的热点。化工生产过程的数据或实验室实验数据的拟台、分析，是优化过程或优化反应条件的基础一般被处理的数据可以分为二类：静态数据（static data）和动态数据（Dynamic data），对于静态数据的关联，神经网络是一种很有希望的“经验模型”拟合工具。动态过程数据具有系统随时间而变化的特征，操作参数和产物的产量和质量之间的关系更为复杂。处理和分析动态过程数据的方法除了常用的在物料衡算、能量衡算、反应动力学方程、相平衡等基础上建立数学模型（Mathematical Models）、数理统计（Statistical Analysis）等方法外，用神经网络拟合动态过程数据， 建立动态过程模型， 往往能从动态数据提供的模式中提取较为有用的信息，对过程进行预测、故障诊断，从而使过程得到优化。因此，神经网络以其强大的函数映射能力， 已经广泛用于化工过程非线性系统建模领域。 它能够通过输入输出数据对过程进行有效地学习，为化工过程的综合发展提供了一种先进的技术手段。
二、人工神经网络简介
人工神经网络（英文缩写为ANN）简称神经网络，是在生物学和现代神经科学研究的基础上，对人类大脑的结构和功能进行简化模仿而形成的新型信息处理系统[2，3]。由“神经元”（neurons）或节点组成。至少含有输入层、一个隐含层以及一个输出层。输入层—从外部接受信息并将此信息传入人工神经网络，以便进行处理；隐含层—接收输入层的信息，对所有信息进行处理；输出层—接收人工神经网络处理后的信息，将结果送到外部接受器。当输入层从外部收到信息时，它将被激活，并将信号传递到它的近邻这些近邻从输入层接收到激活信号后，依次将其输出到它们的近邻，所得到的结果在输出层以激活模式表现。
神经网络可以看作是一种具有自组织、自学习能力的智能机器，它能模仿人的学习过程。比如，一个复杂化工装置的操作工人，开始学习操作时，由于没有经验，难以保证控制质量。但经过一段时间学习后，他就能逐步提高技能。神经网络正是模拟人类学习过程，通过给网络各种范例，把网络的实际输出与希望输出比较，根据偏差修改节点间的连接权，直到获得满意的输出。人工神经网络研究工作可分成 3个大方向：（1）探求人脑神经网络的生物结构和机制，这实际上是研究神经网络理论的初衷；（2）用微电子或光学器件形成有一定功能的网络，这主要是新一代计算机制造领域所关注的问题；（3）将人工神经网络作为一种解决问题的手段和方法，而这类问题用传统方法无法解决或在具体处理技术上尚存在困难。
三、神经网络在化工中的应用
1.故障诊断
当系统的某个环节发生故障时，若不及时处理，就可能引起故障扩大并导致重大事故的发生。因此建立高效的、准确的实时故障检测和诊断系统，消除故障隐患，及时排除故障，确保安全、平稳、优质的生产，已成为整个生产过程的关键所在。神经网络是模仿和延伸人脑智能、思维、意识等功能的非显形自适应动力学系统，其所具有的学习算法能使其对事物和环境具有很强的自学习、自适应和自组织能力。神经网络用于故障诊断和校正不必建立严格的系统公式或其它数学模型，经数据样本训练后可准确、有效地侦破和识别过失误差，同时校正测量数据中的随机误差。与直接应用非线性规划的校正方法相比，神经网络的计算速度快，在化工过程的实时数据校正方面具有明显的优势。目前应用于故障诊断的网络类型主要有：BP网络、RBF网络、自适应网络等。
Rengaswamy[4]等人把神经网络用在化工过程的初始故障预测和诊断（ FDD）中，提出一种神经网络构架，利用速度训练在分类设计中明确引入时间和过程模型映像的在线更新三个要素，来解决化工过程中的初始故障诊断问题。国内也有关于神经网络用于故障诊断的报道，黄道[5]等人以TE （Tenneaaee Eastman，Eastman化学公司开发的过程模拟器，提供了一个实际工业过程的仿真平台，是一种国际上通用的标准仿真模型）模型为背景，根据模型的特点进行了故障诊断。当输入变量接近训练过的样本时，诊断的成功率可达100％。另外，模糊神经元网络作为一种更接近人脑思维的网格，也是解决此类问题的一个发展方向。李宏光[6]等人就针对化工非线性过程建模问题， 提出了由函数逼近和规则推理网络构成的模糊神经网络，其规则网络基于过程先验知识用于对操作区间的划分，而函数网络采用改进型模糊神经网络结构完成非线性函数逼近，并将该技术应用于工业尿素 CO2汽提塔液位建模。
2.化工过程控制
随着神经网络研究的不断深入，其越来越多地应用于控制领域的各个方面，从过程控制、机器人控制、生产制造、模式识别直到决策支持神经网络都有应用。神经网络可以成功地建立流程和控制参数问的非线性关系及构造相关的数学模型，并可跟踪瞬息过程及具有稳健功能等，因此可有效地用于化工过程最优化和控制。
1986年，Rumelhart第一次将ANN用于控制界。神经元网络用于控制有两种方法，一种用来构造模型，主要利用对象的先验信息，经过误差校正反馈，修正网络权值，最终得到具有因果关系的函数，实现状态估计，进而推断控制；另一种直接充当控制器，就像PID控制器那样进行实时控制。神经元网络用于控制，不仅能处理精确知识，也能处理模糊信息。Tsen[7]等利用混合神经网络实现对乙酸乙烯酯（VA）的乳液聚合过程的预测控制。原有的该间歇过程的复杂的机理模型可对单体转化率做出较准确的预测，然而对产品性质（如数均相对分子质量及其分布）的预测不太可靠。所建的混合型神经网络模型用于实现过程的反馈预测控制。国内对神经网络的实质性研究相对较晚，谭民[8]在1990年提出了一种基于神经网络双向联想机制的控制系统故障诊断方法，并且作了仿真验证。清华大学自动化系则开发了一种基于时序神经网络的故障预报方法，利用工艺现场数据对大型氯碱厂的氯气中含氢气的问题进行了模拟预报实验。
3.药物释放预测
建立精确的缓释微胶囊模型是找出最优的工艺条件及掌握芯材释放规律的重要一步。缓释微胶囊的性能与影响因素之间足一种多输入、多输出、复杂的非线性关系。机理分析法和传统的系统辨识法对输入、多输出问题适应性差，过分依赖研究领域的知识与经验，难以得到实用的缓释微胶囊模型。人工神经网络能够很好地解决传统方法不能解决的具有高度非线性、耦合性、多变量性系统的建模问题并具有独特的优势。
赵武奇[9]等人建立了红景天苷缓释微囊的人工神经网络模型及其遗传算法优化技术，用神经网络模型描述了微囊制作参数与性能之间的关系，并用遗传算法优化微囊制作工艺参数，设计出性能最佳的微囊制作工艺参数。范彩霞[10]等人以难溶性药物氟比洛芬为模型药物，制备了17个处方并进行释放度检查。氟比洛芬和转速作为自变量，取其中l4个处方为训练处方，其余3个处方为验证处方，将自变量作为人工神经网络的输入，药物在各个取样时间点的释放为输出，采用剔除一点交叉验证法建立了人工神经网络模型。并通过线性回归和相似因子法比较人工神经网络和基于二元二项式的响应面法的预测能力，显示了人工神经网络的预测值与实测值的接近程度。
4.物性估算
用神经网络来解决估算物质的性质必须解决三个基本问题，第一个是对物质的表征问题；第二个是采用何种神经网络及其算法问题；第三个是神经网络输入与输出数据的归一化问题。无论采用哪种方法对数据进行处理，当用经过训练的神经网络进行物性估计时，不能将网络直接的输出值作为物性预估值，而是要将输出值再乘上一个系数，这个系数就是前面进行归一化处理时对数据的除数，相乘后得到的值作为物性估算值。神经网络用于物性估算，目前采用的就是BP网络或在此基础上的各种改进形式。常压沸点进行估算和研究。Prasad[11]等人利用神经网络对有机化合物的物理性质进行了预测，并与传统的基团贡献法比较，可以得到更为准确的物性参数。而后，董新法、方利国[12]等人将神经网络在物性估算中的应用作了一个全面而又简要的讲解，并提出神经网络在物性估算中潜在的应用前景，为其发展及其以后的应用研究提供了很好的工作平台。
目前，人工神经网络在各个领域中的应用都在向人工智能方向发展。不断丰富基础理论和开展应用研究、完善其技术的可靠性、开发智能性化工优化专家系统软件，对于我国的化工发展具有重要意义。此外，模糊理论、小波变换、统计学方法和分形技术等信息处理方法和理论与神经网络的结合解决化工类问题，被认为是一种发展趋势。
参考文献
[1]高大文，王鹏，蔡臻超.人工神经网络中隐含层节点与训练次数的优化[J].哈尔滨工业大学学报， 2003， 35（2）： 207-209.
[2]苏碧瑶.人工神经网络的优化方法[J]. 科技资讯， 2011（30）： 239-240.
[3]黄忠明， 吴志红， 刘全喜. 几种用于非线性函数逼近的神经网络方法研究[J]. 兵工自动化，2009， 28（10）： 88-92.
[4]Rengaswamy R， Venkatasubramanian V. A fast training neural network and its updation for incipient fault detection and diagnosis[J].Computers and Chemical Engineering， 2000，（24）： 431-437.
[5]黄道， 宋欣.神经网络在化工过程故障诊断中的应用[J].控制工程，2006，（13）： 6-9.
[6]李宏光，何谦.化工过程建模中的一类复合型模糊神经网络[J]. 计算机与应用化学，2000，17（5）： 399-402.
[7]Tsen A D， Shi S J， Wong D SH， etal. Predictive Control of Quality in Batch Polymerization Using a Hybrid Artificial Neural Network Model[J]. AIChE Journal，1996， 42（2）： 455-465.
[8]谭民， 疏松桂. 基于神经元网络的控制系统故障诊断[J]. 控制与决策， 1990（1）： 60-62.
[9]赵武奇， 殷涌光， 仇农学. 基于神经网络和遗传算法的红景天苷缓释微囊制备过程建模与优化[J]. 西北农林科技大学学报（自然科学版）， 2006，34（11）： 106-110.
[10] 范彩霞， 梁文权， 陈志喜. 人工神经网络预测氟比洛芬HPMC缓释片的药物释放[J]. 中国医药工业杂志， 2006， 37（10）： 685-688.
[11]Prasad Y， Bhagwat S S. Simple Neural Network Models for Prediction of Physical Properties of Organic Compounds[J].Chemical Engineering & Technology， 2002， 25（11）： 1041-1046.
神经网络的优化方法范文4
关键词：人工神经网络；前馈神经网络；递归神经网络
中图分类号： TP183 文献标识码： A 文章编号： 1673-1069（2017）06-165-2
1 绪论
人工神经网络（Artificial Neural Network， ANN）是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。ANN通过模仿人类大脑的结构和功能，并借鉴生物神经科学的研究成果，实现对信息的处理，是一种新兴的交叉学科，不但推动了智能化计算的应用和发展，同时也为信息科学和神经生物学的研究方法带来革命性的变化，现已成功应用于脑科学，认知科学，模式识别，智能控制，计算机科学等多个领域。
在实际应用中，人工神经网络的选取通常包括适当的神经网络模型，合理的网络结构及快速有效的网络参数训练算法[1]。而针对某一特定网络模型，ANN的研究主要集中在结构的调整和训练算法的改进两个方面。所谓神经网络训练，也就是网络参数的学习和调整，是一个反复调节节点之间权值和阈值的过程，其学习可以分成三类，即有监督学习（Supervised learning），无监督学习（Unsupervised learning）和强化学习（Reinforcement learning），本文基于有监督和无监督学习进行分类，分别分析了前馈神经网络的特点及研究现状、递归神经网络的特点及研究现状。
2 前馈神经网络
2.1 前馈神经网络的特点
前馈神经网络的主要种类包括：感知器，线性神经网络，BP网络，径向基网络（RBF）等。其训练算法主要采用梯度下降法（Gradient descent），包括：误差反向传播算法（Back Propagation， BP），改进的BP算法，Levenberg-Marquardt法（LM）等。前馈神经网络具有学习简单，收敛较快等优点，因此在实际应用中，一般选取三层或以上的网络结构，神经网络的任意逼近定理指出，训练合适的多层前馈神经网络能够以任意精度逼近任意连续函数[2]。当网络结构已知的情况下，训练前馈神经网络的本质就是确定最优权值和阈值的方法，前馈神经网络的训练方式一般采用网络理想输出和实际输出的误差作为权值调整信号，解空间一般是多峰函数，由于训练过程中很容易陷入局部极小，因此网络的训练目标就是求解一组最优的权值，使误差达到最小。
传统的误差反向传播算法由于为网络的训练提供了简单而有效的实现途径，目前已成为研究和应用最广泛的有监督学习算法。但BP算法存在许多问题，例如在多层网络中收敛较慢且容易陷入局部极小，而且不能对多个网络进行同时训练[3]。改进的BP算法有多种形式，主要有通过附加动量和学习率的引入改进BP网络的自适应能力等方法，附加动量方法虽然在一定程度上改善了易陷入局部极小的问题，仍然存在收敛速度较慢的问题。调整学习率方法通过将学习率限制在一定范围内自动调整，虽然能够提高网络收敛速率，但对权值的改变和影响并不大，仍然导致误差较大问题。LM法具有训练时间段，收敛速度快的优点，但由于LM法需要计算误差的Jacobian矩阵，这是一个复杂的高维运算问题，需要占用大量系统存储空间，同时，LM也存在易陷入局部极小的问题[4、5]。
2.2 前馈神经网络的研究现状
在传统的神经网络训练过程中，预估校正法或者经验选择是最常被使用的网络结构选取方式[6]。在训练和优化网络权值和阈值过程中，训练算法在上述分析中已知，存在着容易陷入局部最优并且难以跳出的缺点，因此误差函数要求必须是连续可求导的函怠R虼耍这些权值训练方法常和进化算法等全局搜索算法相结合。使用全局搜索算法的全局搜索能力帮助网络跳出局部极小。在编码时采用实数编码，克服二进制编码受到编码串长度和精度的限制。例如，Sexton等人用一种改进的遗传算法优化前馈神经网路权值，结果表明改进的算法使网路训练精度得到显著提高[3]。Abbass通过将传统BP算法和差分进化算法相结合，提出了一种的新的权值训练方法并用于乳腺癌的预测实验，取得较好结果[7]。Iionen等人使用差分进化算法对前馈网络的权值进行训练和优化，将优化结果与其他几种基于梯度下降的网络训练方法比较，结果表明该方法具有较好的精度[8]。更多研究成果表明，将DE、PSO应用于网络权值在线训练和优化具有明显优势，这些改进方法也成功应用在了医学和工程技术等领域[9、10]。
此外，多种优化算法相结合也被证明是有效的。例如，在文献[11]中，作者提出了一种DE和LM相结合的神经网络快速训练方法。Liu等人提出一种粒子群算法（Particle Swarm Optimization， PSO）和共轭梯度算法相结合的混合算法，并将其应用于神经网络的权值优化[12]。在优化过程中，首先确定网络结构，然后使用PSO的全局搜索能力获得最后权值组合，最后使用传统方法进行权值微调，取得较好结果。在文献[13]中，作者采用相反方式将基本PSO和传统BP算法相结合使用，首先用BP算法对网络权值进行计算，然后使用PSO对网络结构固定的权值进行优化和改进。有学者提出一种具有控制参数自适应选择能力的差分进化算法，用于训练前馈网络，并将该方法用于奇偶分类实验中，将实验结果与几种其他方法进行比较得知，提出的方法具有更好的准确性。Epitropakis等人在训练离散Pi-Sigma神经网络实验中，采用一种分布式离散差分进化算法和分布式离散PSO算法相结合的方式。该离散网络仍然是一种多层前馈网络，在输出层，通过将神经元求积的方式获得输出，作者认为这种整数权值的离散方式更适合用于硬件实现[14]。在离散化权值方面，Bao等人的工作表明，通过采用一种可重建的动态差分进化算法，可以有效用于训练固定结构的网络权值。
在不同领域中，任务往往各不相同，因此针对不同的动态系统，不同类型的递归网络的也相继被提出并得到研究，使之成为人工智能界的研究热点之一。因其具有独特的优化能力，联想记忆功能，递归神经网络已引起AI界极大的研究和关注，并成功应用于多种模式识别问题，例如图像处理，声音辨识，信号处理等。
4 结论
本章分析和研究了神经网络的两种主要类型，前馈型和递归型，并对其特点进行了分析。前馈网络的主要特点是计算简单，运算方便，缺点是耗时较长，容易陷入局部极小；递归网络的特点是具有动力学特性和联想记忆特性，但使用时需要注意稳定性和收敛性，且对初始状态具有高度敏感特性。针对两类神经网络的特点，可通过多种优化相结合的方法解决收敛较慢且容易陷入局部极小问题，应用参数学习训练算法和网络结构优化算法对递归网络进行适当的调整，以应用于具体问题。
参 考 文 献
[1] N. Garcia-Pedrajas， C. Hervas-Martinez， J. Munoz-Perez. COVNET： a cooperative coevolutionary model for evolving artificial neural networks [J]. IEEE Transaction on Neural Networks， 2003， 14（3）： 575-596.
[2] K. Hornick， M. Stinchcombe， H. White. Multilayer feedforward networks are universal approximators [J]. Neural Networks， 1989， 2： 359-366.
[3] R.S. Sexton， R.S. Sriram， H. Etheridge. Improving decision effectiveness of artificial neural networks： a modified genetic algorithm approach [J]. Decis Sci， 2003， 34（3）：421-442.
[4] 商琳， 王金根， 姚望舒，等. 一N基于多进化神经网络的分类方法[J]. 软件学报， 2005， 16（9）： 1577-1583.
[5] S.U. Ahmed， M. Shahjahan， K. Murase. Injecting chaos in feedforward neural networks [J]. Neural Process Lett， 2011， 34（1）： 87-100.
[6] Serkan Kiranyaz， Turker Ince， Alper Yildirim， et al. Evolutionary artificial neural networks by multi-dimensional particle swarm optimization [J]. Neural Networks， 2009， 22： 1448-1462.
[7] H.A. Abbass. An evolutionary artificial neural networks approach for breast cancer diagnosis [J]. Artificial Intelligence in Medicine， 2002 ， 25 （3） ： 265-281.
[8] J. Iionen， J.K. Kamarainen， J. Lampinen. Differential Evolution Training Algorithm for Feed-forward Neural Networks [J]. Neural Processing Letters， 2003， 17（1） ： 93-105.
[9] D.M. George， P.P. Vassilis， N.V. Michael. Neural network-based colonoscopic diagnosis using on-line learning and differential evolution [J]. Applied Soft Computing， 2004， （4） ： 369-379.
[10] B. Liu， L. Wang， Y.H. Jin， et al. Designing neural networks using hybrid particle swarm optimization [C]. Lecture Notes in Computer Science. Berlin ： Springer ， 2005 ： 391-397.
[11] 王刚， 高阳， 夏洁. 基于差异进化算法的人工神经网络快速训练研究 [J]. 管理学报， 2005， 2 （4） ： 450-454.
[12] L. B. Liu， Y. J. Wang， D. Huang. Designing neural networks using PSO-based memetic algorithm [C]. in： Proceedings of the Fourth International Symposium on Neural Networks （ISNN’07）， 2007， pp. 219-224.
神经网络的优化方法范文5
关键词：公交车 交通拥塞 神经网络 粒子群 流量预测
中图分类号：TP301.6 文献标识码：A 文章编号：1007-9416（2013）12-0123-02
1 引言
交通拥挤、道路阻塞正越来越严重地困扰着世界各国的大城市[1]。传统的交通流量预测是利用统计交通流量判断[2]。这些方法的优势在于实现难度低，便于操作，但是其预测精度往往难以满足需求[3]。近年来BP网络以其独特的优势被运用到交通流量与道路拥塞预测中，它针对历史的数据不确定和非线性的特点，对未来的短期交通流量与道路拥塞进行预测，发挥了较好的作用[4]。但是，传统的BP神经网络算法存在学习过程收敛速度慢、算法易陷入局部极小点和鲁棒性差等缺陷，对预测的效率与精度带来一些影响[5-6]。本文引入粒子群优化算法对其进行优化和改进，通过车载GPS实验与比较，证明了所构建的预测系统的准确度有显著的提升，在交通流量管理方面有着很好的应用价值。
2 粒子群算法及优化
粒子群算法中，粒子就追随当前的最优粒子在解空间中进行搜索，在每一次迭代中，粒子通过追寻两个“极值”来更新自己的位置，用它来优化神经网络的权值，能够在全局范围内以较快的速度找到最优解，收敛速度较快，并避免其陷在局部极小值。因此粒子群算法能够很好地克服传统神经网络算法的弱点。
3 优化后的神经网络结构设计
在优化算法中，将神经网络权值视为粒子群中的“粒子”，初始化粒子的初始位置、速度、惯性权重，从而实现神经网络性能的优化。选取的训练样本来自北京市某路公交车队，该路公交车的首发时间是清晨5：30，末班车为晚上23：30，途径32个站，全程25.9千米。每一辆公交车上均配置了GPS模块单元，以15s为周期，自动采集公交车的位置信息与实时速度数据，由此产生18个小时的数据，以0.5小时对其分段，共计36个时刻，作为样本数据。这些数据作为道路拥塞的数据训练样本集。
输入节点共计8个，分别是上周的同一天的t-1时刻数据、t时刻数据；2天前的t-1时刻数据、t时刻数据；1天前的t-1时刻数据、t时刻数据；当天的t-2时刻数据、t-1时刻数据.结合Kolmogorov算法，隐含层为7个节点，输出层中的神经元有1个，即8-7-1结构。以粒子群算法优化传统的神经网络方法，对BP网络进行训练，从而获取较优的权值、阈值。
对所构建的优化神经网络，以数个不同的速率进行初步训练，并统计对比不同速率之下训练之后的误差平方和值。如果此值能够快速减小，则证明所选择的学习速率比较理想。而假若此值减小较慢或者出现了无法容忍的震荡，则说明学习速率不合适。学习速率过大，会导致系统失去稳定性，过小则容易使收敛速度过于缓慢。通过反复试验和综合对比，并结合研究成果中学习速率区间为[0.01～0.7]的研究结论，将学习速率最终定位于0.6。
4 仿真验证
（图1）中，横坐标是神经网络的训练次数，纵坐标为训练误差值。从基本BP网络的误差曲线可知，训练次数超过300次时，目标误差值10-4尚未达到，收敛较慢，性能不佳；而粒子群优化后的BP网络则在第19次时满足了目标误差值，可见性能有较为明显的提升， 经过更少的迭代次数就使网络的性能达到了要求。
通过以上的方法，以2013年10月13-17日该路公交车数据对神经网络进行训练，并以完成训练的神经网络来预测2013年10月18日的车速。可知预测结果十分接近于实际数据，误差绝对值最大为3.33%，已经能够满通拥塞预测的需求。结果如下：
将此模型的预测值与输出值通过数理统计进行回归分析，获取预测目标对BP网络结果之间所存在的关联系数，从而以此系数体现优化BP网络的实际性能，最终仿真的拟合度R=0.997（最大值为1），可知相关性和仿真度均十分满意。
5 结语
将粒子群优化的BP算法应用于公交车道路拥塞预测，克服神经网络固有的缺陷，经仿真试验，优化后的BP网络性能有较为明显的提升， 预测结果十分接近于实际数据，误差绝对值最大为3.33%，最终仿真的拟合度R=0.997，可以满足短期预测的需要，对提升城市公共交通服务品质具有比较好的实践意义和理论价值。
参考文献
[1]覃运梅.城市公交调度优化方法研究[D].合肥工业大学，2006，38-39.
[2]Goldberg D E， Genetic Algorithms in Search， Optimization and Machine Learning[J].Addison Wesley.1989.
[3]王惠南.GPS导航原理与应用[M].北京：科学出版社，2013.
[4]张飞舟.晏磊.范跃祖，孙先仿.智能交通系统中的公交车辆动态调度研究.公路交通科技，2012，10（9）：65-69.
神经网络的优化方法范文6
关键词：BP神经网络；遗传算法；降雨量预测；广州市
中图分类号：TP183
提高降雨量预测的精度是防汛抗旱工作的重要课题之一。降水量的变化具有较强的动态特征，受大气环流、气温、地形等多种因素的影响，且干扰因素也多[1]。因此，众多学者预测降雨量时，把多年的年降雨量视为一时间序列，用统计方法和数据挖掘算法对其进行分析和预测，主要包括：马尔可夫链模型[2]、灰度理论模型[3]和回归模型[4]等方法。但由于降雨量的时间变化规律呈现复杂的动态的非线性的变化形式，基于线性数据的预测方法难以适应这一点。于是有学者采用非线性的预测模型，如RBF神经网络[1]、BP神经网络[5]、支持向量机[6]等。
BP神经网络是目前应用最广泛的神经网络模型之一，但网络在学习过程中存在易陷入局部极小的问题，而遗传算法具有全局优化能力和并行搜索能力。与遗传算法与结合，BP神经网络能较好的解决局部收敛的问题。本文尝试采用建立基于GA的BP神经网络模型，对广州市降雨量进行预测。
1 BP神经网络及遗传算法简介
1.1 BP神经网络
1.2 遗传算法（GA）
遗传算法[8]是一种模拟生物优胜劣汰的基因遗传进化过程的运算模型。其运算过程是：算法维持一群个体组成种群，每个个体就是问题潜在的一个解，用一个评价优劣机制得到每个个体的适应度；个体经过随机的变异和杂交两种方式的变换，形成新的个体，选择新旧个体中适应度高的组成新的种群；若干代后收敛得到最优的解。遗传算法是一种强有力的随机搜索和优化模型，目前在多个领域得到广泛的应用。
2 GA-BP神经网络模型
神经网络的构建过程，实际上就是权重矩阵和偏差矩阵的优化过程。BP神经网络采用误差反向传播的算法训练网络，具有局部收敛等天生不足。遗传算法强大的搜索能力可以弥补这点。利用遗传算法优化的GA-BP算法流程如图2参见文献[9]。
3 模型建立与测试
收集和整理出广州市1952-2013年的降雨量数据，组成降雨量时间序列，如图2所示。以前5个数据作为一个模型输入，第6个的数据作为输出，组成一组数据样本；再以第2至第6个数据为输入，第7个的为输出，以此类推，建立57组样本数据。选取前52组作为训练样本，后5组为测试样本，即测试2009-2013年的预测结果。最后预测2014年的广州降雨量数据。
4 结束语
影响降雨量的因素很多，错综复杂，且机理尚不明确，对其精确预测非常困难。本文将历年降雨量视为时间序列，分别建立BP神经网络和GA-BP降雨量预测模型，并对广州市降雨量进行预测，结果表明GA-BP模型比BP神经网络的预测效果更好，为降雨量预测提供了一种行之有效的方法。预测结果可以为指导农业生产、防讯抗旱等工作有着重要的意义。
参考文献：
[1]崔德友.组合模型在降雨量预测中的应用[J].计算机仿真，2012（08）：163-166.
[2]王艳，毛明志，范晶.最优分割法确定的加权马尔可夫链在降雨量预测中的应用[J].统计与决策，2009（11）：17-18.
[3]边红娟，雷宏军，王勇.灰色理论在区域降雨量预测中的应用――以河南商城县为例[J].安徽农业科学，2009（13）：6059-6060+6063.
[4]白玉洁.改进时间序列模型在降雨量预测中的应用研究[J].计算机仿真，2011（10）：141-145.
[5]葛彩莲，蔡焕杰，王健.基于BP神经网络的降雨量预测研究[J].节水灌溉，2010（11）：7-10.
[6]朱天一.基于SVM的梅雨量预测研究[D].南京信息工程大学，2011：5.
[7]朱凯，王正林.精通MATLAB神经网络[M].北京：电子工业出版社，2010：193-200.
[8]玄光男，程润伟.遗传算法与工程优化[M].北京：清华大学出版社，2004：1-10.
[9]陈仕鸿，张英明.基于GA-BP神经网络的人口预测研究[J].战略决策研究，2012（04）：48-52.
作者简介：文化（1978-），女，湖南慈利人，讲师，硕士，研究方向：电子商务；陈仕鸿（1979-），男，广东仁化人，副教授，硕士，研究方向：数据挖掘。
