神经网络方法范文1
关键词： 神经网络知识库 多神经网络集成 方法研究
随着我国科学技术的不断发展，神经网络技术已经获得广泛的应用，在我国的多个领域中使用，且已经小有成就。但是在使用的过程中还不成熟，仍存在很大的不足和问题，这就需要工作人员进行反复的试验和计算，以获得有关于神经网络的模型。神经网络模型在使用的过程中，会受到操作人员的影响，因此结果表现出来的也就不同。神经网络在实际使用的过程中，操作人员多是缺乏专业知识水平的普通工作人员，这就导致神经网络模型的使用效果得不到保障，因此需要系统的、可靠的神经网络模型操作的应用体系。
一、多神经网络集成方法
1.在神经网络知识库基础上发展而来的神经网络集成应用体系
在神经网络技术应用的过程中，要对工作人员所具备的神经网络方面的知识和经验进行培训，可以通过多元化的神经网络来学习和积累与神经网络有关的知识，神经网络所具备的实用性将获得大幅度的提高。现阶段，我国与神经网络技术有关的工程都较为复杂，大多数的工程都具备独立性较强的子系统、功能单元及部件等，将原本复杂的系统分解成多个简单的小系统。因此工作人员在遇到复杂的系统问题时，可以将复杂的问题分解成多个相对独立的部件、功能单元或者是子系统，进行信息资料的输出或者是输入。使用神经网络技术得到相关子系统的特点信息之后，就能够以此为基础面对系统复杂的问题，例如系统中的辨识度问题、同一个系统中包括多个子系统的神经网络问题等。
在上述想法的基础上，对神经网络知识库进行构建，并逐渐完善神经网络集成体系的框架。是按照将复杂的神经网络问题分解成多个子系统的神经网络问题，而不是针对一个相对较复杂的问题进行的。将复杂问题分解成多个子系统，能够充分体现复杂的神经网络技术所具备功能，并为神经网络问题的分类提供便利，不仅可以提高解决问题的工作效率，而且可以积累神经网络方面的经验。在神经网络问题的实际解决过程中，如果子系统所具备的属性是对数据资料的输出和输入是固定的话，就需要子系统记住这些匹配。也可以是将神经网络子系统中存在的知识库与神经网络中的仪器设备相匹配，那么在进行相关信息的输入时，就可以对神经网络知识库中的连接权、阈值等相关参数进行调用，而不进行反复性质的神经网络学习，这时神经网络所具备的功能就是对函数进行传递。如果在子系统的神经网络知识库中存在与子系统属性相匹配的网络部分，就需要在神经网络知识库中找到与初始值和缺省值相匹配的经验值，将其作为基础就可以对神经网络的子系统的连接权、阈值等相关参数进行训练；如果神经网络的知识库中不存在与子系统属性相匹配的网络部分，就要对神经网络的样本进行训练，并在神经网络问题求解的过程中对网络结构的设计和计算方法等进行学习和训练，以求真正与神经网络的知识库相融合。在神经网络知识库基础上发展而来的多神经网络集成体系如下图所示：
图 在神经网络知识库基础上发展而来的多神经网络集成体系
2.多神经网络集成的方法与流程
从神经网络的有关资料可以看出，多神经的网络集成体系中存在多个子系统且属于多层并联或者串联的结构体系。从资料明显可以看出，子神经网络系统的结构较为简单，为神经网络进行计算和训练等操作提供了便利。在对复杂的网络问题进行分解的过程中，要进行反复的摸索和计算，以求得到最优化的结果，并把结果存储在神经网络的知识库中，为下一次的操作提供经验和学习的基础。在神经网络系统中存在多个层次，可以将位于下一层的输出当做是上一层的输入使用，位于同一层次的神经网络都可以被上一层的神经网络使用，直到到达神经网络的顶层为止。
二、在BP网络集成的基础上进行非线性的研究案例
本文通过复杂的非线性函数案例对神经网络的集成方法进行验证，以有效证明神经网络集成方法所具备的有效性、稳定性、可靠性和可行性。在神经网络函数的研究过程中，人们一直都比较注重对神经网络函数逼近原理进行研究，但是没有更为明确的说明。
1.非线性函数逼近原理的举例描述
通过神经网络进行函数的非线性映射的描述，函数F■（x■，x■）中的x■，x■要符合以下要求：x■，x■∈[-1，1]。函数表示为：
F■（x■，x■）=sin■∈（πx■）+cos■（πx■）+2sin（πx■）cos（πx■）
在函数中根据x■=x■=0.05的原则进行取点的操作，并对函数进行神经网络的输入和输出操作的训练，以求得出函数公式最理想的输出结果。
2.函数问题的解题方法
（1）在函数公式求解的过程中，需要用到神经网络知识库中的逼近原理。
（2）在函数公式求解的过程中，需要进行反复的摸索和拼凑，以实现对神经网络拓扑结构的设计，通过BP算法的使用，实现对函数公式求解的目的。
（3）在函数公式的求解过程中，如果使用多神经网络集成方法的话，就要对神经网络的结构进行设计，以为函数公式的求解提供便利。
F■（x■，x■）=sin■（πx■）+cos■（πx■）+2sin（πx■）cos（πx■）
=（sin（πx■）+cos（πx■））■
根据神经网络中可以将复杂的问题进行分解成多个子系统的原则，将函数公式分解成以下四个简单的函数问题：
f■（x■）=sin（πx■）
f■（x■）=cos（πx■）
f■（f■，f■）=sin（πx■）+cos（πx■）=f■f■
F■（f■）=f■■
对分解之后的函数公式进行求解，通过BP算法的求解，从而达到对函数公式求解的目的。
3.函数求解过程中所使用的方法对比
在使用神经网络进行求解的过程中，神经网络的结构呈现出较为复杂的特点，由于缺少经验作为基础，因此只能进行多次的尝试和摸索，比较花费人力，浪费时间，得到的结果还不理想，存在一系列的问题，例如速度慢、规律复杂等。本文介绍的案例就进行了反复的尝试，得到的输出三维图与最理想的三维图之间还存在差异。
把原来较为复杂的函数公式分解成多个简单的函数公式之后，在通过多神经网络集成方法进行求解的过程中，每个函数公式都很简单，在训练的过程中，也不存在大量的拼凑和尝试，能够在短时间内就确定函数公式结构的参数。将与函数公式有关的阈值和训练值等都存储在神经网络的知识库中，在遇到同类型的函数公式求解时，就可以从神经网络知识库中直接调用即可，不仅计算的速度快，输出结果的精确度也很高。通过神经网络集成方法找到的函数公式的输出三维图，与最优的三维图之间非常的相似，差异不大，可以忽略不计。
三、结语
在神经网络知识库的基础上使用多神经网络集成方法进行问题的求解时，不仅可以大大节省求解所用的时间，而且可以大大提高输出结果的精确度。可以将复杂的问题分解成多个简单的问题，以提高神经网络的工作效率，对计算方法进行创新和发展。
参考文献：
[1]林民龙.基于神经网络集成的增量式学习[D].中国科学技术大学，2012.
[2]唐东波.基于神经网络集成的电信客户流失预测建模及应用[J].大众商务，2010（06）.
[3]李明爱，王蕊，郝冬梅.基于神经网络集成技术的运动想象脑电识别方法[J].北京工业大学学报，2011（03）.
[4]刘大有，张冬威，李妮娅，刘杰，金弟.基于网络聚类选择的神经网络集成方法及应用[J].吉林大学学报，2011（04）.
[5]潘远.粗集约简的神经网络集成在遥感影像分类中的应用[D].辽宁工程技术大学，2012.
神经网络方法范文2
关键词：RBF神经网络；数据挖掘；遗传算法
中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）07-0151-03
Research on Data Mining Method Based on RBF Neural Network
CAO Jia-jie， YANG Meng， XU Xin-yu
（Beijing Satellite Manufacturing Plant， Beijing 100000， China）
Abstract： The rapid development of Internet technology and database technology is widely used at the same time， human through information technology to collect data is more and more strong， and how to from a lot of data mining valuable information and knowledge has become particularly urgent. In order to solve the above problems， data mining technology arises at the historic moment. It is found that the data mining the data for the nonlinear， messy and the presence of noise data， neural network is by virtue of the degree of fault tolerance， distributed storage， parallel processing， adaptive and robust feature is widely used to deal with some of the data mining problems. Accordingly， in this case， the author first introduces the data mining and RBF neural network of the relevant theoretical knowledge， and then focus on the RBF neural network based on the data mining method for peer reference.
Key words： RBF neural network； data mining； genetic algorithm
数据挖掘是从大量数据中挖掘有价值的信息和知识，以便为管理决策和战略部署提供数据支撑。数据挖掘作为信息技术发展的结果，其应用前景相当广泛。数据库技术主要研究数据的组织、存储、获取和处理，而信息技术主要经历以下发展历程：数据的简单收集和数据库的初期建设数据的存储与检索、数据库的事务处理数据的分析与理解，此时便出现数据挖掘技术。基于上述研究背景，下文首先分别介绍数据挖掘与RBF神经网络的相关理论知识，并在此基础上，讨论基于RBF神经网络的数据挖掘方法，目的是为了研究数据挖掘所用到的分类算法。关于神经网络，作为一种人工智能技术，其一方面可以省去繁琐的数学建模和数学推理，另一方面在处理含噪声的非线性数据时表现出无与伦比的优越性。
1 数据挖掘
数据挖掘是非平凡的数据处理过程，即识别数据集中具有潜在价值、新颖有效且最终可被理解的模式，其中潜在价值指的是挖掘出的知识具有实际效用；新颖是指识别出的模式新颖；有效是指识别出的模式在一定程度上是正确的；最终可被理解是指识别出的数据可被用户理解。图1所示为数据挖掘的工作流程。
如图1所示，数据挖掘主要经历数据准备、模式提取、结果解释与评估等阶段，其中数据准备的步骤为：数据清洗数据选取数据预处理数据表示；数据提取阶段又称数据挖掘阶段，其实现步骤为：确定数据挖掘的目标或任务选取适宜的数据挖掘工具或算法进行数据挖掘操作；结果解释与评估阶段主要对所识别的数据进行评估、筛除。一般来讲，数据挖掘质量主要与以下影响因素有关：数据挖掘技术的可靠性与有效性；目标数据的数量与质量。总之，数据挖掘是一个反复反馈的过程，而可视化贯穿在数据挖掘的全过程。
数据挖掘的方法一般分为统计型、机械学习型两大类，而较为常用的算法包括遗传算法、神经网络等。遗传算法是一种以生物进化理论为基础的优化空间搜寻法，其在数据挖掘中，通常以搜索问题的形式来表述具体的任务，并通过选择、交叉、变异遗传等操作寻得最优解。神经网络是一种与人类大脑重复学习类似的方法，即通过学习和训练一些事先给出的样本，产生与样品有所区别的特征和模式，其中样本集应具有代表性。研究表明，神经网络具有准确预测复杂的问题、有效处理存在噪声的数据等优点。神经网络一般分为自组织、反馈式和前馈式神经网络，目前正被广泛应用于商业领域。
2 RBF神经网络
RBF网络结构是一种由输入层、隐含层和输出层组成的三层前向网络，其中输入层包含信号源结点；隐含层主要由节点数目描述的具体问题而定；输出层主要响应输入模式的具体作用。图2所示为RBF神经网络的拓扑结构模型。
如图2所示，RBF网络由输入层向隐含层变换的过程具有非线性的特征，而由隐含层向输入层变化的过程具有线性的特征。据此可知，RBF神经网络是一种基于前馈网络的拓扑结构。研究发现，RBF神经网络拓扑结构会对自身的性能产生影响，而以下因素又会对RBF网络拓扑结构产生影响：RBF的隐节点数目、中心矢量、径向基函数宽度和隐含层与输出层的权值矩阵。
RBF网络具有较强的非线性逼近性能。得益于此，其目前主要用来实现非线性系统的建模与数据挖掘、贝叶斯规则和连续输入/出数据对的映射建模。与其他前向神经网络相比，RBF神经网络具有以下优点：
1）RBF神经网络能逼近任意非线性映射，也能处理系统内部的规律性问题。就无噪声数据而言，RBF神经网络模型的预测精度高且拟合能力强；而就存在噪声的数据来讲，RBF神经网络模型的预测误差和拟合误差均偏低，且收敛速度相当快。得益于此，RBF神经网络在时序建模和分析中的应用十分广泛。
2）RBF神经网络的拓扑结构加快了学习速度和规避了局部极小的问题。RBF神经网络采用核函数，特别是高斯函数的使用使得核函数的优点更为突出：表示简单、光滑性好和解释性好等。
3）RBF神经网络的可解释性好。目前，以下理论均可用于RBF网络参数和拓扑结构的解释中：RBF网络能够对输入层转向输出层进行映射；核回归能够逼近存在噪声的函数噪声数据插值能够逼近输入缺少函数；规则化可以通过在一般化与精确匹配中寻求平衡；贝叶斯规则可以根据前概率计算出后概率。
3 基于RBF神经网络的分类数据挖掘
关于RBF神经网络的研究，其主要表现在以下两个方面： RBF网络结构模型； RBF神经网络学习算法。
3.1 RBF网络结构模型
在实际应用中，RBF模型的应用范围更广，其核函数使用的是高斯函数。但研究发现，在上述结构模型中，训练算法的优劣会对模型的应用效果和RBF网络性能的高低产生决定作用。鉴于此，研究人员提出一些具有新特点和新性能的网络模型，具体包括：
1）高斯型核函数一般化。当隐含层RBF采用以下高斯条函数时，将大大改善RBFN的综合性能：[Φ?x）=exp-（x-cj?T（x-cj）]/2σ2j]。对于普通高斯函数，其拥有半径相同的变量轴和超球面状的函数曲面。但与此相比，高斯条核函数拥有超椭球面状的函数曲面和半径不同的变量轴，因此它具有更强的样本点逼近能力和更大的网络训练工作量。
2）WNN（小波神经网络）。WNN是一种基于小波函数的函数连接型网络，因此在一定程度上应被看作RBFN的推广形式。WNN的激活函数为小波函数，具体以仿射变换的方式创建网络参数与小波变换之间的联系，因此所表现出的特点与RBFN有所差异。此外，WNN具有极佳的时频特征，因此被广泛应用于图像处理和模式识别等领域。
3）RBPNN（径向基概率神经网络）。RBPNN作为RBFNN与PNN综合发展的结果，其学习收敛速度比RBFN更快，同时也将模式之间的交错影响考虑其中。关于RBPNN，其结构主要由2个隐含层、1个输入层、2个输出层组成，其中第一个隐含层为非线处理层，具体包括隐中心矢量，此乃网络结构优化的核心对象；在输出层得出输入样本概率密度的估算值，可降低计算的复杂度。
4）GRNN（广义回归网络）。GRNN使用的也是高斯型径向基函数，一般被看作RBFN的变换形式。GRNN的结构主要由模式层、输入层、加和层、输出层组成，其中核函数所包含的平滑因子需采用优化或经验方法来选定。
3.2 RBF神经网络学习算法
在RBF网络设计中，最为核心的问题是如何合理确定中心点的位置、数目和训练网络权值。通常情况下，中心点的确定与权值的训练既可分开实现，又可同时进行。鉴于此，RBF网络可以采用以下两类学习算法：
3.2.1 静态学习算法
静态学习算法是一种离线学习算法，即在离线设计RBF网络时，中心点的确定与权值的训练分开进行。
1）随机确定RBF中心点，即随机从训练数据集中选取RBF中心点。当RBF选取以下高斯函数：[G（X-Cj2=exp（-m/d2maxX-Cj）j=1，2，...，m]，其中，[Cj]――RBF的中心点；[m]――中心数；[dmax]――相邻中心点最大的间隔距离，因此高斯径向基函数的宽度[σ=dmax/2m]。利用上述算法，可以避免RBF的形状出现过平或过陡两种极端现象。如此一来，便可通过计算线性方程组的方式来确定输出层与隐含层的连接权值。
2）自组织学习确定RBF中心点。混合学习过程主要包括自组织学习阶段、监督学习阶段，其中自组织学习阶段的任务是采用聚类算法来估计隐含层RBF的中心点；监督学习阶段主要通过对输出层线性权重进行估计来设计网络，具体采用最小二乘法。输出层节点的LMS算法与隐含层节点的K-均值聚类同时进行，以加速学习过程。
3）有监督学习确定RBF中心点，即通过有监督学习解得RBF的中心点和自有参数，具体使用牛顿法或梯度下降法等。如果使用梯度下降法，则应从参数空间的某一有效区域开始进行搜索，即先利用RBF网络得到高斯分类算法，再以分类结果为搜索点，以免学习程收敛至局部极小。
3.2.2 动态学习算法
动态学习算法是一种在线学习算法，其主要在在线数据挖掘环境中使用。由于在在线数据挖掘环境中，通常不会全部给定训练样本，因此如果隐含层中心点与单元数目的确定采用静态学习算法，则解算结果不一定最优，而在线学习算法支持动态删除或加入隐含层节点，且隐含层中心点的确定和权值的训练同时进行，因此可以动态构造网络。
1）以分组优化策略为基础的在线学习法。训练神经网络是约束优化的过程，则需对特定的神经网络类型进行深入探讨。以下内容为在线隐含层单元的确定策略：当输入的训练样本同时满足以下条件时，则为之分配相应的隐含层但愿你：网络输出误差比误差的设定阀值大；输入样本与隐层中心点之间的距离比距离的设计阀值大。如果在RBF神经网络在线训练方式中引入分组优化策略，则网络输出与网络权值之间存在线性关系，同时与隐含层单元的宽度、中心点之间存在非线性关系，表明尽量采取不同的优化方法来处理两部分的参数。
2）最近邻聚类算法。最近邻居类算法作为动态自适应聚类学习算法，由其聚类得出的RBF网络不仅最优，且支持在线学习。最近邻聚类算法的实现过程为：
① 设定高斯函数宽度为r，定义矢量A（l）存放输出矢量的总和，定义计数器B（l）统计样本数量，其中类别数目为l。
② 对于数据对[（x1，y1）]，于[x1]上创建1个聚类中心，并令[x1=c1]，[y1=A（1）]，[B（1）=1]，那么在RBF网络中便仅存在1个中心为[c1]的隐含层单元，且隐含层单元与输出层的权矢量[w1=A（1）/B（1）]。
③ 对于数据对[（x2，y2）]，解得[x2]与[c1]之间的距离[x2-c1]。假设[x2-c1≤r]，那么[x2]的最近邻聚类为[c1]，假设[A（1）=y1+y2]，[B（1）=B（1）+1]，[w1=A（1）/B（1）]；假设[x2-c1>r]，那么以[x2]为新的聚类中心，同时假设[c2=x2]，[A（2）=y2]，[B（2）=1]。根据上述要求创建的RBF网络，再在其中加入一个隐含层单元，其与输出层之间的权矢量[w2=A（2）/B（2）]。
④ 假设第k个数据对[（xk，yk）（k=3，4，...，n）]的聚类中心数为M，相应的中心点为[c1，c2，...，cm]，则由此创建的RBF网络中便存在M个隐含层单元。据此，解得[xk]与M个聚类中心的间距为[xk-ci，i=1，2，...，M]，假设两者的减小间距为[xk-ci]，那么[xk]的最近邻聚类为[ci]。根据第一、二数据对的计算步骤，解得当[xk-ci>r]时，第M个隐含层单元与输出层之间的权矢量[wM=A（M）/B（M）]；当[xk-ci≤r]时，隐含层单元与输出层之间的权矢量[wi=A（i）/B（i），i=1，2，...，M]。研究发现，动态自适应RBF网络的难易程度由r所决定，即聚类数目与r呈负相关，即r越小，聚类数目越多，则计算量越大和精度越高，反之亦然。总之，最近邻聚类法具有性能优点、计算量小河学习时间短等优点，不仅可以通过确定隐含层来建立RBF神经网络，还可以在动态输入模式在线学习中得到有效应用。
综上，RBF网络是一种具有最佳拟合和全局逼近性能的前向型神经网络，其无疑具有广阔的应用前景，但在实际应用中，应当考虑到局部极小问题的存在，进而保障其应用效果。
参考文献：
[1] 储兵，吴陈，杨习贝，等.基于RBF神经网络与粗糙集的数据挖掘算法[J].计算机技术与发展，2013，23（7）：87-91.
[2] 宫晓曼，滕荣华.基于神经网络的数据挖掘在煤矿选煤中的应用[J].煤炭技术，2013（9）：127-128.
[3] 魏文轩.改进型RBF神经网络在股票市场预测中的应用[J].统计与决策，2013（15）：70-72.
[4] 曹东方，王玉恒.数据挖掘在员工考评管理信息系统中的应用[J].河北工业科技，2012，29（5）：323-326.
[5] 姚应水，叶明全.RBF神经网络与logistic回归模型的对比研究[J].中国卫生统计，2011，28（4）：397-399.
[6] 张会敏，叶明全，罗永钱等.基于RBF神经网络的老年痴呆症智能诊断研究[J].中国数字医学，2015（6）：38-41.
[7] 习勤，米帅军.指标筛选技术在神经网络数据挖掘模型中的应用[J].统计与决策，2011（10）：163-165.
[8] 林涛，葛玉敏，安玳宁等.基于 RBF 神经网络的钢构件质量追溯系统研究[J].计算技术与自动化，2015（1）：20-24.
神经网络方法范文3
【关键词】神经网络;训练样本;优化;预测
伴随着集成技术的发展，神经网络正日益受到科研人员的关注。并作为一个有力工具广泛应用于预测领域。ANN在预测应用中普适的流程一般是：①选择适应实际情况的网络结构;②建立神经网络模型;③将采集的数据样本分成两部分，一部分作为训练样本，另一部分作为检验样本;④选择学习算法并训练权值;⑤检验网络模型的可行性和有效性。
网络结构、训练样本质量对网络的预测精度及泛化能力均存在一定的影响。但训练样本数据是我们在建立网络之前唯一所知的， Partridg对于BP网的研究表明，网络泛化能力受样本质量的影响超过了网络结构的影响。
1.训练样本质量与神经网泛化能力及预测误差的关系
1.1 样本质量与泛化能力的关系
神经网络的泛化能力受样本质量的影响较大，因为样品的质量反映了训练样本的总体水平和提供的信息。样本的选取将决定样本质量的优劣。网络只有经过可以充分表征所研究问题的样本的训练后，通过合理的学习机制才可使其具有泛化能力。同时通过有目的的采样可提高训练样本的质量，改善网络的泛化能力。当前主要采取了主动学习的方法。“询问”为现在主动学习的一般实现方式，即在输入定义域内按某种概率取一点x，判断该点是否位于不确定区，如果是，则抛弃该点;否则“询问”该点输出y，并把（x，y）加入样本集进行训练，直至采样到足够的样本。
1.2 样本质量与预测误差间的关系
实际系统可描述为理想函数：
（1）
式中，X为待预报变量。
式（1）也可以写作自回归的形式：
（2）
式中，m为自回归阶数，也就是实际系统空间维数。
人工神经网络是一种非线性自回归模型：
（3）
式中，n为嵌入维数，也就是人工神经网络输入神经元数。式（3）是一个单步预报模型，多步预报的情况也是类似的，人工神经网络预报的误差可以估计为：
（4）
式中，e为预报误差;em为模型误差，它由预报中所建回归模型与实际系统的差异引起的;et为最终的训练误差;er为人工神经网络训练和预报过程中引入的随机误差。et和er存在是不可避免的，而em可由式（2）和式（3）作出如下估计：
（5）
式中，ef为函数误差，也就是式（2）和式（间的差异引起的误差;ed为维数误差，明显地：
（6）
为定义在泛函空间的范数：
ANN中通过对训练样本学习而得到的网络权系数决定着。若是样本集包括了实际系统的所有信息，则为零。因此：
（7）
反映了样本质量，它是整个样本空间和训练样本所张成空间之间的范数，因此，式（7）正好得出了预报误差和训练样本质量之间的关系。
2.样本优化方法
神经网络具有很强的自适应性，但并不是对于任何的处理数据都没有问题。网络训练样本的质量影响着网络的性能。这一点在风速预测研究中尤为明显，由于风速受诸多因子影响，而这些因子与风速呈复杂的非线性关系，这无疑降低了聚类的准确度。故而在进行训练样本聚类分析前进行因子分析，以降低数据维数，为聚类分析做铺垫。
2.1 因子分析
因子分析（Factor Analysis）是处理多指标样本数据，将有一个复杂的关系的样本分成几个较小的综合因素。是一种常用作降维处理的多变量统计分析方法。这里我们仅给出用于BP神经网训练因子分析的步骤。主要处理过程如图1所示：
图1 因子分析流程图
其中，旋转因子载荷阵
（8）
因子得分计算公式为
（9）
2.2 聚类分析
聚类分析（Clustering Analysis）是一种典型的数据挖掘方法，它根据研究对象的特点把性质相近的个体归为一类，使样本具有同类同质，异类异质的特点。由于聚类分析对于低维数据的分类较为有效，所以在实际应用中我们通常在进行聚类分析之前，先将训练样本进行因子分析，以降低数据维数，产生新的不相关变量。
把n个样本看成是m维空间中的n个点，那么两个样本间的相似度用di，j度量di，j为样品Xi，Xj的距离，一般要求是：
（l），对任意i，j;当di，j=0;
（2）di，j=dj，i，对任意i，j;
（3），对任意i，j，k（三角不等式）。
由因子分析所得的因子得分计算各样本间的欧式距离，来进行聚类分析，欧氏距离公式为：
（10）
个样本通过聚类，被分成共k个小类，视n的大小，以一定比例选取（m
3.实例分析
在MATLAB仿真平台上利用BP神经网络建立风速预测模型的应用实例。依据实际采集的风速数据设计BP神经网络结构为4-15-1，即4个输入节点，15个隐层节点，1个输出节点。BP神经网模型如图2所示。
表1 某风场历史风速及气象数据
风速（m/s） 温度（℃） 湿度（%） 风向
5.97 11 45 北
7.74 11 60 东
5.42 9 70 东
5.25 4 65 东北
4.63 4 45 西
6.42 3 35 西北
图2 BP神经元模型
图3 网络映射对比
隐层激发函数选用Sigmoid函数，输出层选用Purelin函数。训练样本分别用随机选择法和本文算法选择并训练得到两个神经网络模型用于风速预测建模，网络输出经过反归一化处理后与实际曲线进行比较，网络1为用随机选择法得到的模型，网络2为用本文算法得到的模型。
神经网络训练样本是选择某风场实测历史风速数据及天气信息，如表1所示。不同数据选择方式下网络预测曲线如图3所示。
图3比较可以看出，运用本文提出的算法从大样本集中选择一定量的神经网络训练样本，预测的精度得到提高。说明训练样本的选择满足样本的优选原则;而运用随机选择法随机的从样本集中选择数据，经网络学习后，网络的输出与实际曲线拟合程度较差;相比之下说明了本文算法的优越性。
4.结论
本文在分析训练样本质量和网络泛化能力以及预测误差之间的关系基础上，提出了采用聚类方法对训练样本进行优化，并结合实际预测实例证明了本文讨论方法的有效性。实验证明，训练样本的质量与预测精度有着必然的关系，对神经网络训练样本进行优化，不但提高了建模效率，还增强了网络的泛化能力，提高了预测精度。
参考文献
[1]魏海坤.神经网络结构设计的理论与方法[M].国防工业出版社，2005.
[2]PeiShu.ForeeastingTheoryBasedonArtifieialNeuralNetworkandApplieation：Ph.D.thesis.Xi’an：Xi’anJiaotongUniversity，1994・
[3]workGeneralizationDifferencesQuantified. NeuralNetworks，1996，9（2）：263-271.
[4]ChakerbortyK，MehrotraK，MohanCK.ForeeastingtheBehaviorofMultivariateTimSeriesUsingNeuralNetworks.NuralNetworks，1992，5：961-970.
[5]何勇，项利国.基于模糊聚类的BP神经网络模型研究及应用[J].系统工程理论与实践，2004，24（2）：79-82.
[6]阎平凡.智能信息处理与神经网络研究[J].数据采集与处理，2001.3（1）：10-13.
[7]袁志发，周静芋.多元统计分析[M].北京：科学出版社， 2002.
[8]吕佳.可能性C-Means聚类算法的仿真实验[J].重庆师范大学学报（自然科学版），2005，22（3）：129-132.
[9]陈金山，韦岗.遗传+模糊C-均值混合聚类算法[J].电子与信息学报，2002，24（2）：210-215.
基金项目：本文为新疆电网“友好型”大规模风光互补发电并网的有功调控关键技术开发与应用项目（项目编号：201404091225）。
作者简介：
神经网络方法范文4
【关键词】供水管网 漏损探测 漏损定位 神经网络
舰艇的消防系统、冷却水系统、消防系统等都是影响舰艇可靠性、生命力的重要系统。当前舰艇上的管网系统的控制、损管、维修都需要人为干预，但是大量舰艇管网损坏导致的严重事故都表明人为进行管网控制、损管的不可靠性及恢复的缓慢性。
管网漏损不仅浪费了舰艇上宝贵的水资源，更加重了损管的难度，同时由于产生自由液面，降低舰艇的稳性，对舰艇正常作战产生极为不利的影响。因此，及时有效的漏损检测、定位方法显得尤为重要。只有在第一时间发现漏损，并派出相应人员及时修复漏损区域，才能最大限度保存舰艇的作战性能。
近些来，采用传感器对管网进行实时监测的研究越来越多，这得益于电子产品价格越来越廉价，使得管网安装更多的传感器和处理器成为可能。但是仅有数据并不能实现漏损探测、定位，更需要有合适的算法，目前已有大量研究成果。
Poulakis等提出了一种基于贝叶斯概率的漏损探测、定位方法，该方法通过仿真实验验证了方法的有效性和可靠性，但是该方法在面对多漏损点时显得计算量过大，成为该方法发展的瓶颈。Farley等提出了一种完全基于枚举法的管道漏损/爆裂探测、定位方法，通过认为制造漏损点验证了方法的实用性。Islam等提出了一种基于模糊理论的漏损探测方法，该方法具有理论易理解，实现简单等特点，但是需要的监测点较多。
上述这些方法没有考虑管网（如城市给水管网、舰艇消防管网、舰艇生活水管网）具有随机性、时变性、周期性和非确定性， 利用传统的管网分析方法进行爆管点动态定位误差较大， 难以在工程实际中有效地应用。本文通过神经网络设计了舰艇管网的分布式控制模型，对于提高舰艇管网可靠性具有一定的实用意义。
1 基本原理
本文使用的实验管网如图1所示，该仿真模型为Jowitt等人采用的管网模型，管网中共计有25个节点，37根管道，3个水库，管网具体参数可参见文献[4]。
设管网中节点i与N个节点相连接，其中S个节点流入节点i，节点i流出道其他N-S个节点，由流量平衡方程有：
为便于表达，以某节点有1个节点2点，流向2个节点为例，设该节点水头为P2，流入该节点的水头为P1，流向的2个节点水头分别为P3、P4，由海曾―威廉公式有：
而当任一管段出现破损则会破坏压力的函数关系，因此探测到函数被破坏的所有节点的交集管段即为漏损管段，这是本文实现漏损探测、定位的出发点。
直接利用式（2）一方面计算十分困难，另一方面随着管网的老化，管网的参数会发生变化，对漏损探测、定位带来较大的误差。人工神经网络模型是由大量的简单计算单元广泛连接而组成的一个非线性动力学系统，它具有高度的并行分布式处理、联想记忆、自组织及自学习能力和极强的非线性映射能力。因此本文采用神经网络根据正常状态下，各个节点压力存在函数关系的基本理论来实现管网漏损探测和定位。
2 神经网络在漏损点探测定位中的应用
本文在通过神经网络实现漏损探测定位时采用了BP神经网络模型。基于BP神经网络的漏损探测定位研究可分为两部分：样本训练和基于BP神经网络的预测。样本训练需要确定样本训练的数量，这是应用神经网络的关键问题，样本数量少了，预测样本值精度较低，样本数量大了，则会导致训练时间太长甚至难以收敛。本文样本值取为2000，每个节点的用水量为：
d（i）=rand（）*max（D（i））
式中D为节点i的最大用水量，即阀门开度取为最大值对应的用水量。
这样可以得到管网的一个随机的用水量向量[d]=[d1，d2，…，dn]，可以测得在该用水量情况下的节点水头值[p]=[p1，p2，…，pn]。将所有与节点i相连接的节点的水头值[p]=[p1，p2，…，pn]作为网络的输入信号，输出信号则为T=[0 0 0]。
当管段存在漏损点时，可以通过在管段设置一个用水量不为0的用户来模拟漏损情况，，当4根管道中至少存在一根管道发生漏损时，则取输出信号为T=[0 0 1]；[0 1 0]；[0 1 1][1 1 1]。
向量[p]（神经网络的输入）与T（神经网络的输出）组成一个训练对（训练模式），将所有样本进行有效训练，得到一个稳定的误差小于设定值的神经网络。
将实时得到的水头向量[p]输入网络计算，得到一个输出结果，则可判定节点i所在的管段集合中是否存在漏损。
3 基于BP神经网络的漏损探测、定位结果与分析
下面就节点3与相邻节点组成的系统为例，研究基于BP神经网络的漏损探测定位方法的有效性。设漏损预测准确率为P，则当每采集N组数据通过神经网络得出管道发生漏损，则预测结果准确率为：
P'≈1-（1-P）N
采集数据越多，且每次都得到相同的判断，预测结果成立概率就越大。本文中由于P约为0.9，因此N取为10时，就可以判断预测结果是正确的。
由表1可知，通过管网中测定的节点水头值预测由节点3组成的小系统是否发生漏损具有较好的效果，虽然输出的不是标准的0和1，但是这样的预测结果足以判断是否发生漏损。
本文输出层亦可采用一个输出层节点，但是通过仿真研究发现，当输出层节点数只有一个时，神经网络收敛性较差，预测结果不如采用三个输出层节点的预测结果。
4 结语
针对管网中节点用水量随时间变化较大导致管道漏损探测定位的难点，本文提出基于BP神经网络的漏损探测、定位方法，将该算法集成于管网中各个微处理器中，可以实现管网分布式智能控制，有效提高管网可靠性。结合该模型运用于真实管网中，将是下一步工作的重点。
参考文献
[1] Nicolini M，Zovatto L. Optimal Location and Control of Pressure ReducingValves in Water Networks[J].Journal of water resources planning and management，2009，135（3）：178-187.
[2] 李霞.城市供水管网漏损定位及控制研究[D].天津：天津大学，2006.
[3] Islam M S，Sadiq R，Rodriguez M J，etc. Leakage detection and location in water distribution systems using a fuzzy-based methodology[J].Urban water journal，2011，8（6）：351-365.
[4] 耿为民.给水管网压力调节阀门优化控制[J].给水排水，2009，32（2）：95-98.
[5] 林贤坤，张令弥，郭勤涛等.协同进化遗传算法在传感器优化配置中的应用[J]. 振动与冲击，2009，28（3）：190-194.
[6] 巩敦卫，孙晓燕.协同进化遗传算法理论及应用[M].北京：科学出版社，2009.
[7] 史峰，王辉，郁磊等.Matlab智能算法30个案例分析[M].北京：北京航空航天大学出版社，2011.
[8] 张彤，张华，王子才.浮点数编码的遗传算法及其应用[J].哈尔滨工业大学学报，2000，32（4）：59-61.
神经网络方法范文5
[关键词] BP神经网络 图像分类 Matlab 自适应特征因子 收敛速度 精度
中图分类号：P23 文献标识码：A 文章编号：1009-914X（2014）07-0321-03
1.引言
卫星遥感对地观测技术是人类获取资源环境动态信息的重要手段，无论是专业信息提取、动态变化预测、还是专题地图制作和遥感数据库的建立等都离不开分类。在数学方法的引入和模型研究的进展为影像的分类注入了新的活力，不同的数学方法和参数特征因子被引用到模型的研究上来，为模型研究的发展提供了广阔的天地。而基于改进的BP神经网络，更是融合了自适应特征因子和非线性函数逼近的网络模型，不仅学习速度快，而且有高度复杂的映射能力。
2.人工神经网络的分类方法
人工神经网络（Artificial Neural Network， ANN ）是基于生物神经系统的分布存储、并行处理及自适应学习这些现象构造出具有一些低级智慧的人工神经系统【1】。其概念是在20世纪40年代中期由McCulloch和Pitts提出的，70年代得到应用，80年代以来，随着计算机技术的发展而得到了快速的发展，属于非线性学科，具有强抗干扰性、高容错性、并行分布式处理、自组织学习和分类精度高等特点。
近年来，神经网络被广泛应用于遥感图像分类中，不同学者分别提出或应用了Hopfield神经网络、BP网络、自组织映射网络、小波神经网络、细胞神经网络、模糊神经网络等对遥感图像进行分类【2】。这些神经神经网络在遥感图像自动分类上都有一定的应用，并取得较好的效果。本文基于此，对传统的BP算法进行了改进，提出了在Matlab软件提供的神经网络工具箱中，对BP神经网络的权值，学习率进行分析。重点是运用数学中自适应特征因子，加快了迭代过程中的收敛速度，而且使精度更高。
3.BP神经网络
BP神经网络是一种通用性较强的前馈网络，它主要采用模式正向传递、误差信号反向传播的BP算法，实现输入到输出的映射，并且是非线性的，具有结构简单、可操作性强等优点，目前已被广泛应用【3】。
3.1 BP算法原理
学习过程由信号的正向传播与反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符合时，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此信号作为修正各单元权值的依据。
3.2 BP学习率的优化算法分析
为了加快神经网络的学习速度，对学习率的改进是BP算法优化的重要部分。因为BP算法是不断通过调整网络权值进行训练学习的，修正的大小受到学习率的控制，因此学习率的改进对整个网络的优化是很重要的。为了加快学习速度，研究者提出了很多的优化学习率算法，刘幺和等提出的具体优化公式为[4]： η=Ae-λn. （1）
此算法优于学习率固定的传统BP算法，减少了网络学习过程中的学习次数，但同样存在着其它问题，首先，模型中A的取值范围并不适用于所有神经网络，由于它的取值决定了网络学习率的初始值，通过A确定的网络初始学习率可能使网络不收敛。其次，当网络误差下降速度快时，该算法反倒使网络收敛速度比较慢，这说明此时网络不适应这种情况。
在上述模型中，陈思依据可变学习率的变化，提出了另一改进模型，此方法的思想是，如果网络权值在实际情况中更新之后使误差值减小，此时就没有必要再减少学习率，如果保持原学习率不变，不仅增加了训练速度，而且修改权值的幅度会大些，训练效果会更好一些。改进后的模型为[5]：
此算法优点是如果误差下降速度明显增快，则说明此时的学习率比较合适训练，不需调整。
面对现代科技的飞速发展，国内外竞相发展以高空间、高光谱和高动态为标志的新型卫星遥感对地观测技术，提供了海量的信息源，加大了人们对空间的认知，对信息世界的分类利用，但是人们的优化算法远远跟不上丰富的信息源。对此，针对上面学习率算法，虽然有很大的改进，但处理速度还远远不够，还需要优化。
3.3 网络隐层的节点数确定
BP人工神经网络拓扑结构中，输入节点与输出节点是由问题的本身决定的，关键在于隐层的层数与隐节点的数目，在Robert Hecht Nielson等人研究指出，只有一个隐层的神经网络，只要隐节点足够多，就可以以任意精度逼近一个非线性函数【6】。
因此隐节点的确定关系到整个网络的处理，下面是关于隐节点数确定的的方法：
其中Hpi隐节点i在学习第p个样本时输出，Hpj是隐节点j在学习第p个样本时的输出，N为学习样本总数，而Hpi与Hpj的线性相关程度愈大，互相回归的离散度越小，反之，则相反。
当同层隐节点i和j的相关程度大，说明节点i和j功能重复，需要合并；当样本散发度Si过小，说明隐节点i的输出值变化很少，对网络的训练没起到什么作用，可以删除。因此根据这样规则可以进行节点动态的合并与删除。
4.特征因子算法加入
神经网络在遥感图像分类中的优势越来越明显，很多人对其进行了研究与应用。对此，本文对前人的算法进行了优化，主要是进行网络权值修正速度的加速，在算法优化中，引入了数学中的特征因子加速收敛方法，其保证精度下，使网络的迭代收敛速度大大加快。
具体算法思想过程如下：在BP神经网络学习阶段，当遥感图像的特征样本数据由输入层到隐含层，然后再传输到输出层，最后得到的输出数据与目标数据会产生误差，然后在返回到隐含层来调整网络权值，直至误差达到所要求的精度范围为止。在迭代过程中，为了使误差迅速减小到精度范围内，特征因子算法被引入到网络权值调整上：
在第一次迭代 ：
其中x0为输入向量，y1为第一次输出向量，T为目标向量，第一次迭代生成的T1为目标向量T的近似值，Tk+1为迭代N次（1，2，3，…）目标向量T的近似值。在运用特征因子迭代收敛加速方法中，比以往的算法得到优化，加速了网络权值调整的收敛速度，且使结果的精度得到保证。
5.实验过程与精度评定
本次实验是在Matlab环境下开发的神经网络工具箱中来进行展开的，神经网络工具箱是MATLAB环境下开发出来的许多工具箱之一。它以人工神经网络理论为基础，利用MATLAB编程语言构造出许多典型神经网络的框架和相关的函数【7】。此工具箱可以用来对BP神经网络训练函数的创建，下面是具体的实验过程：
（1）选取QuickBird卫星影像，在影像上选取各类别的特征样本，要求样本数量得足够多。然后进行特征选取，一般是选取象元的多光谱特征的特征向量，以此确定特征矩阵p。为了方便在训练阶段的学习，需把向量值归一化，在根据特征向量，确定输入层节点数为5。
（2）进行BP神经网络的构建，其中隐层网的节点数是根据前面提到的方法，节点数经过合并与删除之后最终确定为25；根据待分类影像的类别分别是公路用地、内陆滩涂、旱地、水工建筑用地、裸地、坑塘水面、林地、水库水面、采矿用地、城市、村庄、水浇地、设施农用地、建制镇、果园、灌木林地、风景名胜及特殊用地、其他林地、其他草地，输出层节点数确定19；目标向量可用以下形式表示：
（1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示公路用地
（0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示内陆滩涂
（0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示旱地
（0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示水工建筑用地
（0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示裸地
（0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示坑塘水面
（0，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0） 表示林地
（0，0，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0） 表示水库水面
以此类推直到最后类别的表示……
（0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，1） 表示其他草地
调用Matlab神经网络工具箱中的函数，另外为了加入特征因子算法，需要创建网络的权值学习函数learnc，p1是输入训练样本，p2是输入未知样本向量。部分代码如下：
net=newff（minmax（p），[25，19]，{‘tansig’，‘logsig’}，‘traingdx’，‘learnc’）；
net.trainParam.show=300；
net.traimParam.epochs=1600；
net.train.goal=0.01；
net=init（net）；
net=train（net，p1，T）；
Ye=sim（net，p2）；
（3）在步奏（2）的基础上，进行训练学习。创建的网络权值函数加入特征因子后，在学习阶段收敛速度明显增快 。使调整后的网络权值尽快达到了用户设定精度范围。
（4）学习阶段完成后，开始进行分类阶段。把未分类的QuickBird卫星影像的特征向量值输入到神经网络中，进行分类，根据输出向量y与目标向量T进行对比，然后把象元分类到自己所属的类别区。直到影像被分类完为止。
（5）分类结果图如下：
（6） 下面是对分类结果进行精度评定，采用误差矩阵法来评定精度。总体精度可达到93.89%，其他各个类别的用户精度和生产者精度都很高，最低的不低于82.43%，满足用户的需求，达到使用的目的。
6.结束语
BP神经网络的非线性映射，自适应功能等优势已在遥感图像分类中得到广泛的应用，本文基于前人的优化算法，提出了在网络权值调整过程中的特征因子迭代加速算法，使学习阶段的权值调整速度明显加快。但在分类精度上改变较小，在提高精度上，是以后继续研究改进的方向。
参考文献
[1] 叶世伟 史忠植（译） 神经网络原理 北京：机械工业出版社，2004
[2] Dony R D，et al. Neural network approaches to image compression[J].Proc IEEE，1995，83：288-303.
[3] 史忠植.智能科学[M].北京：清华大学出版社，2006.
[4] 刘幺和，陈睿，彭伟，等.一种BP神经网络学习率的优化设计[J].湖北工业大学学报，2007，22（3）：1-3.
[5] 陈思 一种BP神经网络学习率的改进方法[J].长春师范学院学报（自然科学版），2010.8.25-27
[6] 李晓峰，徐玖平，王荫清等。BP人工神经网络自适应学习算法的建立及其应用[J].系统工程理论与实践，2004.5 . 3-4
[7] 楼顺天，等.《基于Matlab的系统分析与设计---神经网络》. 西安：西安电子科技大学出版社，2000.8.23-40
神经网络方法范文6
关键词：小波神经元网络；隶属度；短期负荷预测；电力系统
ABSTRACT：Wavelet neural network (WNN) possesses more degree of freedom and better adaptivity than multi-layer FP neural network. To better reflect the influence of climate factors on load and improve the precision of load forecasting， the Morlet wavelet is chosen to establish a wavelet neuron network， the back propagate algorithm is adopted to train the WNN network， a new method of analyzing clustering by self-study membership is used to train the samples. The load data and climatic data of Wuhan power network in recent years are applied in modeling and load forecasting. The forecasting results show that the established WNN model possesses better convergence and the forecasting precision can be improved by choosing training samples with analyzing clustering by self-study membership.
KEY WORDS：Wavelet neural network；Membership；Short-term load forecasting；Power system
1 引言
短期负荷预测是负荷预测的重要组成部分，是电力系统运行调度中的重要内容。国内外已提出了多种短期负荷预测方法，如多元回归、ARMA模型、人工神经元网络方法等。可归类为：①利用负荷的自身发展规律，如ARMA模型[1]等；②负荷发展规律与气象因素相结合，如ANN(Artificial Neural Network)方法[2]；③其他方法，如小波分解法[3-5]、模糊聚类法[6]及混沌算法[7]。
人工神经网络以其强大的多元性映射能力能够准确捕捉并学习负荷值与天气之间的非线性关系，使考虑气象因素的电力系统短期负荷预测成为可能。近年来它一直受到密切关注，且已成为解决电力负荷预测问题的有效计算工具。小波在分析非固定信号和构造非线性函数模型方面具有卓越性能，因此结合了小波基函数的小波神经元网络(WNN)比一般神经网络具有更多的优越性。
为更好地反映气象因素对负荷的影响及提高负荷预测的精度，本文构建了一种小波神经元网络负荷预测模型，以Morlet小波取代Sigmoid函数，采用误差反传学习算法来训练网络，采用自学习隶属度分析聚类方法来选择训练样本。
2 小波及小波变换
基本小波或母小波定义为满足相容性条件(如式(1)所示)的平方可积函数φ(t)∈L2(R)(L2(R)为二尺度空间)
式中 a、b为实数，且a≠0，称φab(t)为由母小波 (t)生成的依赖于参数a、b 的连续小波，也称为小波基。设反映负荷变化规律趋势的函数为f(t)∈L2(R)，定义其小波变换wf(a，b)为
3 小波神经元网络
3.1 基本原理
小波神经元网络是基于小波分析的具有神经元网络思想的模型，即采用非线性小波基取代常用的非线性Sigmoid函数，通过线性叠加所选取的非线性小波基来拟合负荷历史数据序列。负荷曲线y(t)可采用小波基φab(t)进行如下拟合：
式中
为负荷曲线y(t)的预测值序列； Wk、bk、ak分别为第k个权重系数和第k个小波基的平移因子与伸缩因子；n为小波基个数。
在小波神经元网络中，小波神经元负责对输入信号进行预处理，再将其传递到多层感知器。采用神经元网络学习算法训练网络，在迭代过程中调整网络的各个参数和小波系数，使输出误差最小化。
3.2 网络结构
图1为4层小波神经元网络，图中输入层有I个神经元，xi为其第i个输入量；小波变换层有J个神经元， 、vj分别为其第j个输入量和输出量
隐层有K个神经元，yk为其第k个输出量；输出层有1个神经元，输出结果为Om，代表预测日第m个预测点的负荷值
式中 Ψs，t，j为小波变换函数； Wij、Wjk和Wk分别为输入层与小波层、小波层与隐层、隐层与输出层之间的连接权值。
考虑到Morlet小波的简明表达方式，选择Morlet小波作为网络隐含层的变换基函数
式中 xz =(x-tj)/sj ，sj 为小波神经元j的放缩系数，tj 为小波神经元j的平移系数。
神经元学习算法用于修正sj和tj以及网络输出线性组合的权值Wij、 Wjk和Wk，通过最小化误差能量函数优化这些网络参数。简化式(7)、(8)，取g(x)=x，小波神经元网络的输出Om可表示为
式中 D为训练样本数目； 为第d个样本的第m个期望输出值。
转贴于 3.3 小波神经元网络的误差反传学习算法
为使误差Em最小，采用梯度下降法学习函数作为小波神经元网络的学习法则。该学习过程与普通神经元网络的算法相同。根据式(5)-(7)和式(8)，可得到Em的负梯度值，由此推出与该WNN每个参数有关的局部误差函数。如由局部误差函数值构造出梯度矢量，该WNN参数即可用梯度下降法更新确定。对于式(11)的Em，对于第d个样
由于小波基函数对放缩系数和平移系数特别敏感，因此小波基节点数应足够大，以确保神经元网络的稳定性。此外，本文模型的网络参数初值选取如表1所示。
4 小波神经元网络预测模型的建立
4.1 采用改进隶属度分析聚类法选择训练样本
为避免气象突变、日期、星期类型的不同导致负荷模式的不同，从而显著增加神经元网络的训练时间并影响预测精度，需从历史数据中选取与预测日的特征量最为接近的历史日的数据作为训练样本，聚类分析是选择样本的有效手段。
在短期负荷预测的数据聚类中主要考虑的聚类特征指标有：最高温度、最低温度、平均温度、风力、可见度、湿度、天气类型、舒适度指数以及日期、星期等。这些因素对负荷变化的影响程度不同，其中最高温度、最低温度的变化对负荷变化的影响最大，且各因素的取值范围与正常变化范围也不同。本文采用自学习加权隶属度函数来进行模糊聚类分析。
假设有K个负荷日，特征量的个数为M，第k个负荷日的第j个特征量表示为ykj，将其作如下归一化处理
各特征量的隶属度函数表达式为
式中 μkj为第k个负荷日的第j个特征变量的隶属度值；gj为预测日(即聚类中心)的第j个特征变量；
设置阈值λ来确定训练样本，λ越大符合选择条件的训练样本数越少。采用监督式学习来决定权值wj。定义目标函数为
式中 nL为学习的样本数目；yi＝Li/L0；L1为历史日i的负荷总量；L0为目标日的负荷总量；ti为历史日i与目标日的相似度值，即隶属度值。采用梯度下降法来调整权值使式(22)达到最小值。
4.2 WNN的构建与训练
本文构建的WNN网络有55个输入神经元(如表2所示)，112个小波层神经元，30个隐含层神经元，1个输出神经元。
需指出的是，隐含层神经元最适宜的数目取决于误差检验，WNN网络通过未参加训练的某一阶段的历史数据来检验误差。训练中取近60天的历史数据运用上述基于隶属度分析的聚类方法来选取小波神经元网络的训练样本(10个)和检验样本(5个)。通过误差检验来确定隐含层神经元的数目。
5 算例
基于本文的模型原理和建模步骤，采用C++语言编写出小波神经元网络负荷预测程序。利用湖北省武汉市1999年5月-12月的历史气象和负荷数据进行预测：①WNN网络与BP网络的性能比较(10个样本批量训练，单点输出条件下)见表3；②采用本文模型对武汉市电网负荷进行预测，将其预测结果与使用普通BP神经元网络的结果进行比较。表4为采用小波神经元网络方法对1999年5月21日-1999年5月27日的负荷进行预测的平均相对误差与普通BP网络的比较，结果表明本文预测算法稳定实用，能够改善预测精度。
6 结论
本文探讨了小波神经元网络用于解决短期负荷预测的能力。研究表明恰当地选择训练样本和合理地选择网络结构是影响WNN网络预测精度的主要因素。小波神经元网络具有比BP网络更快的收敛速度，改进隶属度聚类方法的应用可改善负荷大波动日的预测精度。
[1] 施泉生(Shi Quansheng)．短期负荷预报模型库的研究及应用(A study and apply on model system of short-term load forecasting)[J]．系统工程理论与实践(System Engineering Theory and Practice)，1996，16(7)：99-104．
[2] Park D C，El-Sharkawi M A，Marks R J II et al．Electric load forecasting using an artificial neural network[J]．IEEE Transactions on Power Systems，1991，6(2)：442-449．
[3] 邰能灵，侯志俭，李涛，等(Tai Nengling，Hou Zhijian，Li Tao et al)．基于小波分析的电力系统短期负荷预测方法(New principle based on wavelet transform for power system short-term load forecasting)[J]．中国电机工程学报(Proceedings of the CSEE)，2003，23(1)：45-50．
[4] 冉启文，单永正，王骐，等(Ran Qiwen，Shan Yongzheng，Wang Qi et al)．电力系统短期负荷预报的小波-神经网络-PARIMA方法(Wavelet-neural networks-PARIMA method for power system short term load forecasting)[J]．中国电机工程学报(Proceedings of the CSEE)，2003，23(3)：38-42．
[5] 谢宏，陈志业，牛东晓(Xie Hong，Chen Zhiye，Niu Dongxiao)．基于小波分解与气象因素影响的电力系统日负荷预测模型研究(The research of daily load forecasting model based on wavelet decomposing and climatic influence)[J]．中国电机工程学报(Proceedings of the CSEE)，2001，21(5)：5-10．
[6] 姜勇(Jiang Yong)．基于模糊聚类的神经网络短期负荷预测方法(Short-term load forecasting using a neural network based on fuzzy clustering)[J]．电网技术(Power System Technology)，2003，27(2)：45-49．
