神经网络隐含层数的确定范例6篇

神经网络隐含层数的确定

神经网络隐含层数的确定范文1

关键词: 设施蔬菜病害; 预警; LVQ神经网络; BP神经网络; 黑星病

中图分类号:TP18 文献标识码:A 文章编号:1009-3044(2016)10-0189-03

Abstract: In order to make better in early warning of facilities vegetable diseases, two kinds of algorithms of LVQ neural network and BP neural network are used to construct static early-warning models of facilities vegetable diseases. In order to test the feasibility and applicability of two models, this paper takes cucumber scab for example and makes comparation of the two models. The result shows that two kinds of models are both able to better and accurately realize the forecasting of cucumber scab. It turns out that BP neural network model, which costs less time, is more effective in practice.

Key words: facilities vegetable diseases; early warning; LVQ neural network; BP neural network; cucumber scab

预警是一个军事术语,指用来对付突然袭击的防范措施,是组织的一种信息反馈机制,后来逐步引申到现代政治、经济、技术、医疗、灾变、生态、治安等自然和社会领域[1]。当下,预警在重大气象灾害方面起到重要作用。而创新地把预警应用于设施蔬菜病害方面,利用数据挖掘方法,探寻设施环境条件与病害的关联关系,把以诊治为主的设施蔬菜病害防控模式转变为以预防为主,降低了病害防控成本,减少了农药污染,大幅度地提高蔬菜产量和质量,在农业科技和食品安全方面发挥重要作用[2]。文中以棚室黄瓜为例,构建黄瓜病害静态预警模型。通过实时地对温度,湿度,土壤酸碱度等自然条件的测量,对病虫害的发生进行预测,再根据预测结果调整当前环境,从而达到黄瓜病害预警的目的。运用LVQ神经网络、BP神经网络两种算法建立黄瓜黑星病静态预警模型并比较两种模型的优劣。结果表明,在以黄瓜黑星病为例的蔬菜病害静态预警实验中,运用BP神经网络算法所构建的模型优于LVQ神经网络,在实际的蔬菜病害静态预警的应用中更有参考价值。

1 模型的构建及分析

以黄瓜黑星病为例,分别使用LVQ神经网络、BP神经网络两种算法构建黄瓜黑星病静态预警模型,并从时间、空间复杂度和模型预测的确诊率三个方面对两种模型的适用性和可行性进行比较分析。

1.1 样本指标的选取与数据收集

构建基于LVQ神经网络和BP神经网络算法的黄瓜黑星病静态预警模型,其基础的工作是进行黄瓜黑星病样本指标的选取和对所选取的样本指标进行数据收集。这两项工作为模型的构建提供数据支持。

1.1.1 样本指标的选取

黄瓜是一种常见的蔬菜,甘甜爽口,清淡香脆,是城镇居民常备的家常菜之一。黄瓜在生长过程中容易发生各种病害而导致减产,如霜霉病、白粉病、黑星病等等。因此,在黄瓜的生长过程中,可通过对当前温度,光照,土壤ph值等环境条件的测量,预测黄瓜得病的可能性而调整当前环境。文中以黄瓜黑星病为例测试模型的性能。此病的病因为瓜疮痂枝孢菌,病菌以菌丝体附着在病株残体上,在田间、土壤、棚架中越冬,成为翌年侵染源,也可以分生孢子附在种子表面或以菌丝体潜伏在种皮内越冬,成为近距离传播的主要来源。病菌在棚室内的潜育期一般3~10天。整个生育期均可侵染发病,幼瓜和成瓜均可发病。幼瓜受害,病斑处组织生长受抑制,引起瓜条弯曲、畸形。该病菌在低温高湿等一系列复合条件下容易发生和流行。一般在2月中下旬就开始发病,到5月份以后气温高时病害依然发生[3-4]。文中选用容易感染此种病害的品种津研四号进行试验[5-6]。经查阅资料可知:黄瓜黑星病发病的因素有土壤ph值,空气相对湿度,温度,光照,黄瓜栽培品种等等。其中土壤ph值,空气相对湿度,温度这三个因素在黄瓜发病过程中起主要作用。致使黄瓜黑星病发病的各因素范围如下:ph值:2.5-7 ; 空气相对湿度:>=90;温度:15℃-25℃。

1.1.2 数据收集

黄瓜黑星病的发病是一个过程,是多个发病因素相互交叉、共同作用的产物。根据黄瓜病害书籍资料,搜集所需的数据。共330组数据,290组数据作为训练集,40组数据作为测试集。290组训练集作为样本数,每个样本数中有三个输入特征数据,即土壤ph,空气相对湿度,温度等三类,所有样本数共分为2个类别,即正常与异常。分别用LVQ神经网络、BP神经网络两种算法测试模型的可行性并对其进行比较分析,为预测模型的选择提供参考。

1.2 LVQ神经网络预警模型

构建基于LVQ神经网络的黄瓜黑星病静态预警模型,测试模型的可行性,并对模型进行优化,进而比较优化前、后的黄瓜黑星病预警模型,分析模型的适用性。

1.2.1 LVQ神经网络思想

LVQ神经网络[7-8](Learning Vector Quantization)是在有“导师”状态下对竞争层进行训练的一种学习算法,属于前向有监督神经网络类型,在模式识别和优化领域有着广泛的应用。LVQ神经网络由三层组成,即输入层、隐含层和输出层,网络在输入层与隐含层间为完全连接,而在隐含层与输出层间为部分连接,每个输出层神经元与隐含层神经元的不同组相连接。隐含层和输出层神经元之间的连接权值固定为1。在网络训练过程中,这些权值被修改。隐含层神经元和输出神经元都具有二进制输出值。当某个输入模式被送至网络时,参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争,因而允许它产生一个“1”,而其他隐含层神经元都被迫产生“0”。与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”,而其他输出神经元均发出“0” 。网络结构如图1:

1.2.2 网络创建及测试

在Matlab R2012b的平台上进行预测。建立一个3层的向量量化神经网络函数,隐含层神经元首次尝试设置为15个,学习速率设置为默认值0.01,权值学习函数也设置为默认函数:net=newlvq(minmax(P_train),15,[rate_B rate_M],0.01,‘learnlv1’)。

利用LVQ神经网络算法开始模型训练,训练结束后将会生成相应的神经网络,再通过相关验证数据的输入将计算出的预测值与期望输出进行比较分析,得出相关的结论。40组数据作为测试集进行10次预测,测试结果如表1:

经计算,当隐含层神经元为15个时,正常、异常黄瓜的平均确诊率分别为91.508%、91.05%,平均确诊率高达90%,此设定准确率较高。经过多次运行,运行时间数量级皆为1级。表明LVQ神经网络用于模式识别是有效的,在黄瓜黑星病的预警中具有很大的参考价值和指导意义。

1.2.3 隐含层神经元个数优化

在LVQ神经网络算法基础上,为了得到可靠稳定的模型,提高正确率,可使用带有交叉验证功能的LVQ神经网络程序进行预测。此功能可确定最佳的隐含层神经元个数。常见的交叉验证形式之一为K-fold cross-validation。K次交叉验证,初始采样分割成K个子样本,一个单独的子样本被保留作为验证模型的数据,其他K-1个样本用来训练。交叉验证重复K次,每个子样本验证一次,平均K次的结果或者使用其他结合方式,最终得到一个单一估测。这个方法的优势在于,同时重复运用随机产生的子样本进行训练和验证,每次的结果验证一次。在此采用常用的5折交叉验证法进行训练。

每一次网络的训练都会产生不同的最佳隐含层神经元个数,这是由于每次训练集和测试集是由计算机随机产生,且每次训练过程都不相同造成的。经过多次实验,发现隐含层神经元个数在11~20范围内较为适宜。运行一次带有交叉验证功能的LVQ算法程序需要的时间数量级是3级。运行时间较长,但在确诊率上没有明显的改善。因此,带有交叉验证功能的LVQ神经网络模型在确定无交叉验证功能的LVQ神经网络模型隐含层神经元个数范围方面起重要的借鉴作用,但由于其所需预测时间较长,不适用于实际预测的应用。

1.3 BP神经网络预警模型

构建基于BP神经网络的黄瓜黑星病静态预警模型,调整网络参数进行仿真训练,并分析模型的适用性。

1.3.1 BP神经网络思想

BP神经网络[8-10] (Back Propagation)是一种采用误差反向传播算法的多层前向神经网络,其主要特点是信息正向传播,误差反向传播。在传递过程中,输入信号经过输入层、隐含层的逐层处理,直至输出层,若在输出层得不到期望值,则反向传播,根据预测误差调整权值和阈值,使BP神经网络的输出不断逼近预测输出值。网络结构如图2:

1.3.2 网络创建及测试

同样在matlab R2012b的平台上进行预测。在该三层网络中,第一层传递函数默认为‘tansig’, 第二层传递函数设置为‘purelin’,训练函数设置为‘trainlm',隐含层神经元个数设置为10个,输出层神经元为1个。创建该网络,进行训练,仿真并测试返回结果。相关程序为:

net=newff(minmax(P_train),[10 1],{‘tansig’,‘purelin’},‘trainlm’)

net.trainParam.epochs=1000;

net.trainParam.show=10;

net.trainParam.lr=0.1;

net.trainParam.goal=0.1;

net=train(net,P_train,Tc_train);

T_sim=sim(net,P_test);

for i=1:length(T_sim)

if T_sim(i)

T_sim(i)=1;

else

T_sim(i)=2;

end

end

对于多层前馈网络来说,隐层节点数的确定是成败的关键。若数量太少,则网络所能获取的用以解决问题的信息太少;若数量太多,不仅增加训练时间,更重要的是隐层节点过多还可能出现所谓“过渡吻合”问题,即测试误差增大导致泛化能力下降,因此合理选择隐层节点数非常重要。关于隐层数及其节点数的选择比较复杂,一般原则是:在能正确反映输入输出关系的基础上,应选用较少的隐层节点数,以使网络结构尽量简单。隐含层神经元个数选择是一个较为复杂的问题,往往需要设计者多次试验来决定,因而不存在一个理想的解析式来表示。确定隐含层神经元个数方法可参考公式[n2=log2n1]和[n2=2×n1+1](是输入层神经元数,是隐含层神经元数)[11]。对黄瓜黑星病预测实验而言,=3,则网络训练需要从隐含层神经元个数为=1训练到个数为=7。理论上最佳隐含层神经元个数在1~7个左右,但仍需要多次测试来确定。适当增加隐含层神经元个数可以减少训练误差。经验证,当隐含层神经元个数设为7时,进行10次预测,模型测试确诊率较高。如此既保证正确率,又能较节省时间。预测结果如表2:

如表2,经计算,在10次预测中,正常黄瓜平均确诊率为91.511%,异常黄瓜平均确诊率为94.542%。运行时间数量级为0级,速度更快。经多次运行、测试总结可得,BP神经网络模型在准确率上不次于LVQ神经网络模型,在时间上也远快于LVQ神经网络模型。由此看出,BP神经网络算法在黄瓜黑星病的预测过程中,效果更好,参考价值更高。

1.4 两种模型比较分析

算法,是预测黄瓜黑星病的核心。在评价哪种算法更适用于黑星病的预警时,应兼顾时间、空复杂度和确诊率。这两种模型空间复杂度基本相同。相比空间需求,实际操作中,我们更关注程序运行的时间和确诊率。两种神经网络算法在训练预测过程中各有利弊,但预测结果的准确性都高达90%左右。因此,时间开销便成了两种模型适用性的最重要因素。分别运行两种模型20次,得到程序运行的时间开销折线图如图3。由图3可知,运用BP神经网络可快速得到预测结果,在实际运用过程中实时性更突出。

2 总结

本文研究发现两种模型均可用于黄瓜黑星病的预警,模型预测的准确率相差无几高达90%左右。这进一步表明了数据的准确性、指标建立的合理性和模型建立的可行性。也证明把预警应用于设施蔬菜病害方面,利用数据挖掘方法,探寻设施环境条件与病害的关联关系这一构想的合理性和可操作性。

若结合结果的准确率和时间开销,BP神经网络模型在实际的黄瓜黑星病及其他病害的预测过程中比LVQ神经网络模型更胜一筹,具有更高的时效性。

参考文献:

[1] 霍松涛.旅游目的地旅游预警系统研究[D].开封:河南大学,2006.

[2] 邵峰晶,于忠清.数据挖掘原理与算法[M].北京:电子工业出版社,2003.

[3] 王生荣,杨升炯.黄瓜黑星病菌生物学特性及流行规律研究[J].甘肃科学学报,1999,11(3):83-86.

[4] 易齐,王蔚,王传英,等.黄瓜黑星病及其蔓延为害现状[J].植物保护,1987,13(6):40-41.

[5] 许勇,朱其杰.黄瓜黑星病抗病性离体子叶接种鉴定方法[J].北京农业大学学报,1994(1):31-34.

[6] 朱建兰,陈秀蓉.黄瓜品种对黑星病的抗性鉴定结果[J].甘肃农业科技,1998(7):32-33.

[7] 段明秀,何迎生.基于LVQ神经网络的手写字母识别[J].吉首大学学报,2010,31(2):41-43.

[8] 史忠植.神经网络[M].北京: 高等教育出版社,2009.

[9] 王文剑.BP神经网络模型的优化[J].计算机工程与设计,2000,21(6):8-10.

神经网络隐含层数的确定范文2

关键词:人工神经网络 青草沙 潮位预测

中图分类号:TV675 文献标识码:A 文章编号:1007-3973(2013)012-035-02

青草沙水库是我国最大的河口江心水库,相比黄浦江上游、陈行水库及东风西沙水源地,青草沙水库有着库容大(有效库容达4.35亿立方米)、供水量大(设计供水规模719万立方米/日)、水质好(总体水质达到地表水Ⅱ类标准),在水库蓄满时,可在不取水的情况下连续供应68天。若能够提前预知库外潮位变化情况,水库管理者就能准确制定每日的闸门运行调度计划,使水库总体蓄水量始终保持在合理的范围内,确保1300万上海市民的饮用水安全。针对这一情况,本文提出了一种利用BP神经网络的方法对青草沙库外潮位进行分析和预测的方法。

1 BP神经网络基本原理

BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。

典型的含有一个隐含层的BP网络模型,在模型的运行过程中,经过反复学习训练,确定与最小误差相对应的网络参数(权值和阈值),训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息,自行处理输出误差最小的经过非线形转换的信息。

具体算法如下:

第一步:初始化,赋给Wij和Wjk各一个较小的随机非零值。

第三步:计算样本的误差项

对所有样本重复第二步和第三步。

第四步:按权值修正公式修改权值

第五步:按新的权值计算输出Yk,考察误差是否达到规定的要求。若达到,则学习结束,否则重复第二步至第五步,直到误差达到要求为止。

2 BP神经网络模型的建立

2.1 网络层

1989年,Robert和Hecht―Nielson证明了对于任何闭区间内的连续函数,都可以用一个隐含层的BP网络来逼近,因而一个三层的BP网络可以完成任意的N维到M维的映射。

2.2 输入层

由于是对潮位进行预测,而潮汐现象是有着非常明显的周期性变化规律,故只需要将上一个时间段的潮位的测量值作为输入变量即可。为了能够充分反映潮汐的变化规律,输入层神经元个数设置为5个。

输入层的训练数据采用2013年6月17日开始青草沙水库上游库外一个潮周期潮位的每小时实测值,训练时将5小时连续的潮位数据编程一组作为模型的输入变量。

2.3 隐含层

如何决定隐含层的神经元个数,取决于输入输出的非线性程度。一般来说,隐含层的神经元个数太少,可能不能训练好网络,不能识别以前没有学习过的样本,容错性差;但隐含层的神经元个数太多,网络很“脆”,能够很好地对训练集分类,但当输入模式有稍微的变,不同于训练集,就不能进行判别,而且显著的增加训练时间,容易出现过度拟合。隐含层的神经元个数的选择是一个十分复杂的问题。

h为隐含层层数,M为输出神经元数,N为输入神经元数,a为1~10之间的常数,设置好参数后对所有的h值进行模拟计算,以确定最佳的隐含层神经元个数。

3 计算实例

网络的训练数据采用2013年6月17日 2:00至2013年7月5日 2:00青草沙水库库外潮位每小时实测数据,共计406组训练数据。

将所有训练数据的输入值输入Matlab的工作表,命名为P,将所有训练数据的输出值输入Matlab的工作表,命名为T。

3.1 隐含层层数的确定

在确定隐含层的层数是,本文采用的是列举比较法,即根据公式(7)计算出在所有符合条件的隐含层的神经元个数,然后建立拥有不同隐含层神经元个数的模型,最后进行训练,选择训练后误差最小的模型,从而确定隐含层的神经元个数。

最终的训练成果如图1所示,由此可见,隐含层神经元个数为9个时,模型训练出来的误差最小,从而设计网络结构中隐含层神经元个数为9个。

3.2 预测效果分析

在隐含层神经元个数设置为n=9,重新对网络进行训练。训练后,将8月1日至8月8日的青草沙水库上游库外潮位数据作为网络的输入值,通过自动计算获得网络的输出值,该值即为神经网络的预测值。将该值与实际值进行比较,结果如图2和表2所示。

由图2可见,模型的预测效果非常好,能够很好地反映出潮位的变化趋势。为了进一步分析误差,将8月1日至8月8日每天12:00的整点潮位实测值与预测值进行列举,并计算实际值与预测值之间的误差,结果如表2所示。

由表2可见,实际值与预测值的误差全部控制在10%以内,说明由模型计算出的预测结果是可信的,是有实际运用价值的。

4 结论

BP神经网络具有很强的学习、联想和容错功能,具有高度非线性函数映射功能,将其应用于青草沙水库库外潮位的预测,取得了令人满意的结果;Matlab中的工具箱使 BP网络的建立、训练以及仿真都变得非常简单,而且训练过程及效果非常直观,使神经网络应用于实际具有更大地可行性。

参考文献:

神经网络隐含层数的确定范文3

关键词 BP神经网络 房地产市场 预警研究

中图分类号:F293 文献标识码:A

一、房地产市场预警评价指标的构建

本着全面性、重要性、可测性、独立性的房地产预警指标选取原则,笔者选取了房地产行业的发展协调度、和谐稳定度、和未知风险度三个一级指标以及12个二级指标作为警兆指标,如表1所示:

二、BP神经网络预警模型的构建

(一)神经网络结构的构建。

BP神经网络模型拓扑结构一般包括输入层(InPutLaver),隐含层(HideLaver)和输出层(outPutLayer)三个方面。

由于任意一个连续函数都可以准确地用一个三层向前神经网络来模拟。故本文采用只含有一个隐含层的三层神经网络作为预警系统。

其中房地产市场警兆指标为输入层,本文输入层节点数X=12。相对应的警情为输出层,本文警情采用三维向量的模式,故输出层节点数Y=3。隐含层神经元数目N的确定,本文采用公式N=+C,其中,C 为 1 ~10 的常数。通过训练,发现当N=8时,神经网络的收敛效果最好。

(二)神经网络的训练方法。

1、信号向前传输。

首先,计算隐含层各单元的净输入Ij:

其中wij是输入层第i单元与隐含层第j单元间的权重; j是隐含层第j单元的偏置值,p为隐含层单元总数。

第二,计算隐含层各单元的输出yj:

第三,计算输出层的实际输出,计算方法与隐含层相同。

2、误差反向传输。

通常用网络实际输出与目标输出之间的方差ei来度量误差。

其中di表示目标输出,yi表示实际输出。

(三)预警时差和警情的设定。

由于目前我国房地产发展不成熟以及相关警兆指标的局限性。本文将预警时差设定为2年,通过对上一年的警兆数据的分析来预测下一年的警情,即通过2011年的数据来预测2013年的警情。并将警情划分为 “冷”、“正常”、“热”三级,分别用三维向量(1,0,0)、(0,1,0)、(0,0,1)表示。

(四)神经网络的预警过程。

将经过归一化处理后的房地产市场警兆指标数据作为网络系统的输入,经过训练好的神经网络处理,输出房地产市场的警情,实现评价指标与警情的非线性映射。

三、基于沈阳市房地产市场的实证研究

本文选取了沈阳市2004年到2011年的预警指标数据,其中2004年到2009年作为神经网络的训练样本,2010年作为检验样本,2011年作为预测2013年警情的基础数据。其中根据相关专家的分析,给出2006年到2009年沈阳市房地产市场地警情。

(一)神经网络的训练。

为了使神经网络获得较好的训练效果,本文运用MATLAB软件对其进行训练。其中中间层的激励函数为正切s型激励函数,输出层的激励函数为对数s型激励函数。学习训练率为0.06。经过342次迭代,网络训练误差情况如图迭代次数所示。

(二)神经网络的检验。

为了使训练好的神经网络能够更精确的预测警情,本文将2010年的相应指标数据输入到已经训练好的网络中,对网络进行检验。检验结果如下表所示。

由表结果可知,神经网络输出结果与目标输出结果吻合度较好,故可以作为预测警情的模型。

(三)神经网络的市场预警。

将2011年的相关指标数据输入到BP网络中去,得到结果表所示:

由网络输出可得出目标输出为(0,1,0)。即2013年沈阳市房地产市场处于正常状态。

四、结语

神经网络隐含层数的确定范文4

【关键词】工程项目;风险评价;BP神经网络;模糊综合评价

【Abstract】In this article, a evaluation method by BP neural network of composite fuzzy was presented and the Evaluation Model based on BP Neural Network of Composite Fuzzy was built, than used this model to evaluation engineering project risk of owner financing.

【Key words】Engineering Project;owner inancing;venture evaluation;BP neural network;Fuzzy Synthetic Evaluation

0 引言

当建设项目投资需求金额很大,业主通常可采用项目融资的方式建设。由于项目融资时间长、规模大、参与方多、结构复杂,导致融资风险极大,它直接关系到项目融资能否成功以及项目能否进行建设。因此,有效的风险管理通常能够较好的防范或者是降低风险带来的损失,而在风险管理过程中,风险评价则是非常重要的一个环节,所以选择合适的风险评价模型就起到了关键性的作用。本文研究采用了基于BP神经网络的模糊综合评判模型。该模型既考虑到了风险评价具有模糊性,也利用了神经网络具有较好的学习能力、加速权重的学习调整的优点。

1 基于BP神经网络的模糊综合评判模型

基于BP神经网络的模糊综合评判模型是指在BP神经网络评价系统的基础上引入模糊逻辑,使其能够直接处理一些模糊性的信息。它的基础模型是三层BP神经网络模型,在基础模型的输人层前增加了模糊语言量化层,从而能够处理那些模糊语言描述的信息,同时能让模糊化处理、规则与推理转换成神经网络的学习,综合评判模型如图1所示。

图1 基于BP神经网络的模糊综合评判模型

1.1 模糊信息输入量化层

通过模糊信息的输入量化层预处理之后,就能将模糊概念融入到BP神经网络中。模糊信息的评价指标值不是反映的分值大小,而是反映出对某些模糊评价观念隶属度的高低。

BP神经网络模型前置的模糊信息输入量化层将指标的特征值转化为其隶属度,转换过程如下:

根据定量因素指标的属性,因素指标对最优评价的隶属度分别为以下三种情况:

1)指标属性越大越优

v■=■■(1)

2)指标属性越小越优

v■=■t(2)

3)指标属性适中为优

v■=ew(3)

在上式中,v■指第i个指标对最优评价的隶属度,取值范围是[0,1];U■指第i个指标的指标值;当t=1即为线性分布; w=-■■ ;U■指最优指标值。

1.2 BP神经网络结构

1.2.1 BP神经网络的学习原理

BP神经网络是一种多层次反馈型网络,所使用的是有“导师”的学习算法。网络由一个输入层、若干个隐含层和一个输出层组成,每层都有一个或多个神经元节点,下层每个神经元与上层每个神经元都实现权连接,输入信号先向前传播到隐含层节点,经过函数作用,再把隐含节点的输出信号传播到输出节点,如果输出层得不到期望的输出,则反向传播,将误差信号沿原来的连接通道返回,通过修改各层神经元权值,使得误差信号最小。

1.2.2 BP神经网络的结构设计

1)输入层节点数

输入层节点数是指评价指标个数。实际应用中,输入节点的数目由风险因素的数目来决定,使输入层数据的全面性得到了有效保证。

2)隐含层层数及节点数

隐含层的作用主要是从输入的样本信息中提取特征。增加隐含层层数可以降低误差、提高精度,但同时也使网络复杂化,从而增加网络权值的训练时间。当采用S型函数作为激活函数时,一个隐含层就能满足实现需要的判决分类,所以目前很多评价模型都选用1个隐含层。

隐含层节点的作用主要是从输入的样本中提取并储存其内在规律。若隐含层节点数量过少,可能训练不出网络或者网络不够“强壮”,不能识别以前没遇到过的样本,容错性差;但节点数量过多,又会使学习时间过长误差也不一定最佳,还容易出现“过度吻合”的问题,降低了网络泛化的能力。通过大量实践研究,目前已获得比较科学的节点数量计算公式。最佳隐含层节点数量公式:

N=■+a(4)

在上式中,N为最佳隐含层节点数,n为网络输入层输入节点数,m为网络输出层输出节点数,a为1-10之间的一个常数。

输出层节点数由评价结果的需要来确定。

3)训练次数

最佳的训练次数能使建立好的模型获得较好的泛化能力。为了得到最佳的训练次数,可将样本数据分为训练集和测试集,训练集用来训练修改BP神经网络的权值,直到输出结果与期望值之间的误差满足要求,其原理如图1所示。经过一定数量的训练次数后,网络的训练误差和测试误差随着训练次数的增加而减少,但当训练次数超过某一值后,测试误差会随着训练次数的增加而增加。在神经网络训练的过程中,设定好时间间隔,测试网络误差并记录下权值,当发现测试误差开始增加时,就已达到最佳的训练次数。

1.2.3 BP神经网络的算法

BP神经网络主要分为网络的学习过程和网络的检验过程,也就是用一定数量的样本数据训练网络(学习过程),然后用一定数量的样本数据对训练好的网络进行测试(检验过程)。每一样本具体算法过程如下:

1)原始数据通过输入量化层的模糊转换后,输入网络,给出相应的期望值。并给w■,v■,T■,θ■随机赋一个较小的值, 其中w■是输入层节点ai到隐含层节点br的连接权值,v■是隐含层节点br到输出层节点cj间的连接权值,T■是隐含层节点的阀值,θ■是输出层节点的阀值。

2)隐含层节点的输出计算为:br=f■w■a■+T■;输出层节点的输出计算为:cj=f■v■b■+θ■

其中f(・)为神经元输入与输出之间的转换函数。Sigmoid型函数由于对线性和非线性问题都能很好的适应,应用也最为广泛,所以本文模型采用此函数,其函数形式如下:

f(x)=■

3)计算输出层节点输出c■与期望输出的误差,令:d■=c■(1-c■)・(c■■■■-c■);向隐含层节点反向分配误差,令:e■=b■・(1-b■)・(■v■・d■)

4)调整隐含层与输出层节点间连接权值v■及输出层节点阀值θ■:

v■=v■+a・b■・d■;θ■=θ■+a・d■(0

调整输入层与隐含层节点间连接权w■及隐含层节点阀值T■:

w■=w■+a・ai・e■;T■=T■+a・e■(0

5)重复步骤(2)~(4),直至EAV变得足够小:EAV=■■■(c■■-c■)■其中p为训练样本的个数,EAV为学习的目标函数。

2 应用举例

以工程项目风险评价来说明该模型的应用。

2.1 工程项目风险评价指标体系

根据全面性、独立性、可比性和准确性相结合的原则,参考大量相关文献资料,并运用德尔菲(Delphi)法咨询多位实践经验丰富的专家,建立一套较为合理、系统的业主项目融资风险评价指标体系,并为各指标分配权值。建立好的指标体系如下所示。

2.2 基于BP神经网络的模糊综合评判模型构建

神经网络模型输入层取12个神经元;隐含层经计算确定为5个神经元;输出层取1个神经元,输出为工程项目风险系数;因此,神经网络模型结构为12×5×1。其中隐含层选用一层,采用S型函数作为激活函数。

表1 网络权值Wir

表2 网络权值Wrj

将取得的10个业主项目融资风险评估案例随即分为8个训练样本和2个测试样本,样本数据通过模型的模糊输入层转换为隶属度值,然后进入到模型的神经网络部分,依据上文中描述的神经网络算法,利用输入样本数据对该网络模型进行训练和测试,即经历学习过程和检验过程。计算过程可结合matlab软件的应用,最后获得了稳定的网络状态和较高的计算精度。故可用该模糊神经网络综合评判模型处理工程项目风险评估问题。训练好的网络权值如表1、表2。

3 结论

利用BP神经网络模糊综合评判模型来实现评价功能,不仅使评价系统具有了学习能力。同时,还结合了模糊评价的优势解决了业主项目融资风险评价的模糊性问题。并且各个评价指标的权重是由网络通过学习自动生成的,它避免了传统评价方法中人为确定权重的主观性,弥补了传统方法的不足,使评价的结果更具客观性和准确性。

本文用基于BP神经网的模糊综合评判模型对业主项目融资风险进行了综合评价,利用matlab编写相关程序并且实现了神经网络的权值学习,在实际评价中取得了令人满意的结果,表明此方法是可行的,具有推广和应用价值。

【参考文献】

[1]周志华.神经网络及其应用[M].北京:清华大学出版社,2OO4:25-33.

[2]邓铁军,仇一颗.工程风险管理[M].北京:人民交通出版社,2004.

[3]董长虹.Matlab神经网络与应用[M].北京:国防科技大学出版社,2005.

神经网络隐含层数的确定范文5

[关键词] 客户需求 预报 RBF神经网络

一、引言

在经济全球化的激烈竞争中,客户需求预报在企业决策中发挥着重要的作用,客户需求预报主要是预报未来一段时间内客户对某产品的需求数量和发展趋势。产品需求信息的提前准确获取,可以缩短产品的上市时间并提高客户满意度。同时客户需求预报也是解决不确定需求物流配送问题的一个重要方法,通过客户需求预报可以将不确定需求问题转化为确定需求问题。本文采用RBF神经网络对客户需求进行预报,以期得到有效结果。该研究有利于了解RBF神经网络在客户需求预报问题中的应用价值。

二、基于RBF神经网络的客户需求预报

RBF神经网络是以径向基函数作为隐含层神经元激活函数的三层前向型神经网络,RBF网络的优越性主要在于具有最佳逼近和全局逼近的性质,因此可以用于预测、识别、函数逼近和过程建模等问题。RBF神经网络的拓扑结构如图1所示。第一层为输入层,由信号源节点组成,输入层节点只传递信号到第二层;第二层为隐含层,隐含层采用径向基函数作为网络的传递函数,隐含层节点数视所描述问题而定,从输入层空间到隐含层空间的变换是非线性的;第三层为输出层,它对输入模式的作用作出响应,输出层节点计算由隐含层节点给出的基函数的线性组合。整个RBF网络可以看作是非线性基函数的线性组合。

RBF神经网络输出层第j个节点的输出值计算公式如下所示:

;式中RBF网络的传递函数采用高斯函数,表示输出层第k个节点的输出值,表示隐含层第i个节点到输出层第j个节点的连接权值,x表示神经网络的输入向量,表示隐含层第i个节点的中心,M表示隐含层节点总数,表示欧氏函数,表示偏置量,表示隐含层中心宽度。

基于RBF神经网络的客户需求预报包括训练样本的选取、待测样本的选取与RBF神经网络需求预报等三部分组成。根据客户需求历史信息,采用此预报方法可以得到相应的预报结果。此预报方法各组成部分的关系如图2所示。

本文选取客户需求数据作为训练样本数据:以某客户需求发生时间t(1)、t(2)、…、t(n)对应的客户需求量d(1)、d(2)、…、d(n)作为训练样本。当RBF神经网络完成训练学习后,就可以对未来某时刻的客户需求量进行超前预报。

三、计算示例

为了验证此预报方法的有效性,以国内某公司某产品的销售数据为例,对此产品的需求量进行了预报。此产品的需求数据如下表所示:

本文选取2003年~2006年的历史需求数据组成训练样本,采用提出的RBF客户需求预报方法对2007年的产品需求量进行超前预报。2007年客户需求量的超前预报值和误差如表2所示:

由表2可知,采用基于RBF神经网络的预报方法对客户需求量进行超前一个月至十二个月预报,其平均误差为3.27%。

四、结束语

本文介绍了RBF神经网络的基本原理,描述了客户需求信息训练样本和待测样本选取等内容,提出了基于RBF神经网络的客户需求预报方法。最后以某公司的产品销售数据为例,采用此预报方法对其产品需求进行了超前一个月至十二个月的预报,平均预报误差小于4%,证明了此方法的可行性和有效性。

参考文献:

[1]朱道立龚国华罗齐:物流和供应链管理[M].上海:复旦大学出版社, 2001

[2]宋华:现代物流与供应链管理案例[M].北京:经济管理出版, 2001

[3]魏海坤:神经网络结构设计的理论与方法[M].北京:国防工业出版社,2005

[4]田景文高美娟:人工神经网络算法研究及其应用[M].北京: 北京理工大学出版社,2006.7

[5] 高玮. 新型进化神经网络模型[J].北京航空航天大学学报,2004, 30(11):79-83

神经网络隐含层数的确定范文6

【关键词】 企业人员素质;人工神经网络

我国大多数企业在人员的选拔与评价方面,受传统思想的影响较大,缺乏科学的人员素质评价方法和技术。为了保证人员素质评价结果的客观准确性,企业需要采用科学合理的方法,针对人员素质与其影响因素之间的复杂、不确定和非线性特性,将人工神经网络引入人员素质评价是十分必要。人工神经网络具有的大规模并行处理和存储、自组织、自适应和自学习能力,使它能够用于,也特别适用于处理需同时考虑众多因素和条件不精确和模糊的信息处理问题。

一、企业人员素质评价指标体系的设计程序

(一)职务分析

职务分析是对某项职务的内容和任职资格进行完整地描述或说明,以便为管理活动提供有关职务方面的信息而进行的一系列职务信息收集、分析和综合的人力资源管理基础性活动。职务分析信息收集的方法很多,这里仅介绍常见的几种。

1.工作分析法。就是对各类人员所从事的工作内容、性质 、责任、环境以及完成这些工作各类人员所应具备的条件进行研究和分析,了解和掌握各类人员的工作特点、工作性质和应该注意的问题以及各类人员胜任本职工作所应具备的能力、知识、技能等。工作分析的主要内容由两部分组成:一是职务说明,二是对人员的要求。对人员的要求包括各类人员完成本职工作应该具备的智力、专业知识、工作经验、技能要求等,这是工作分析应用于人员素质评价的主要内容。

2.素质图示法。素质图示法就是将某类人员的素质特征,用图表描绘出来,加以分析研究,确定评价指标。这种方法一般将某类人员的评价素质指标按需要程序分档,然后根据少而精的原则进行选取。

3.专家调查法。专家调查法中的“专家”一般包括有关方面的领导、理论研究人员,具有管理和技术方面知识并且具有丰富实际经验的专业人员等。专家调查法的主要形式有个别访谈法、德尔菲法和头脑风暴法。

4.问卷调查法。这种方法就是设计者根据需求,把要调查的内容设计在一张调查表上,分发给有关人员填写,收集和征求不同人员意见的一种方法。问卷调查表的设计应简单明了,填写要力求简便,要使具有一般文化水平的人员在看完填表说明和要求以后,也能进行正确地回答。

(二)理论验证

依据人员素质评价的基本原则和理论基础,对设计的素质评价指标进行论证,使其具有一定的科学依据。

(三)指标调查

根据工作分析所确定的指标,运用评价指标体系的设计方法进行指标调查,以确定评价指标体系。在进行指标调查时,可将几种方法结合起来使用,使指标体系更加准确、完善。为了使确定好的指标更趋合理,还应对其进行修订。修订分为两个方面:(1)评价前修订。通过专家调查法,将所确定的指标提交领导、专家权威或专家会议,征求意见,修改、补充、完善评价指标的内容。(2)评价后修订。根据评价后的结果,确定哪些评价指标是必要,哪些评价指标可以省略和简化。

二、基于BP神经网络的人员素质评价模型设计

在对企业人员素质评价的BP网络模型设计中,应具体考虑以下因素的合理确定:网络的层数、各层神经元个数、初始值的选择、学习速率、期望误差、输入数据预处理方式以及网络训练模式。

(一)BP网络层数的确定

根据Kosmogorov定理,对于任何的连续函数映射关系都可以用含有一个隐含层的BP网络来逼近。一个S型隐含层加上一个线性输出层的BP网络,能够逼近任何在闭区间内的一个连续有理函数。一个三层的BP网络可以完成空间任意的从n维到m维的映射,并且可以通过增加隐含层神经元的个数来提高网络的精度。

(二)各层神经元个数的确定

输入层神经元的个数即为素质评价的指标数,输出层神经元个数则为人员素质的评价结果,即1个。隐含层神经元数与模型的要求、输入层及输出层神经元数都有着直接的关系。隐含层神经元数目太多会导致学习时间过长、误差不一定最佳,也会导致容错性差、不能识别以前没有看到的样本等问题。对于一个BP网络,一定存在一个最佳的隐含层神经元数。如何尽可能选择最佳的隐含层神经元数,以下有几个经验公式可用于选择时的参考公式:

(2)n1=log2n其中,n为输入层神经元数。

(三)初始值的选取

由于系统是非线性,一个重要的要求是:初始权值在输入累加时使每个神经元的状态值接近于零,权值一般取随机数,要比较小。初始值一般选择在区间(-1,1)之间的随机数。

(四)学习速率的确定

在学习速率的选择上倾向于选择较小的学习速率以保证网络的稳定性。一般学习速率的选取范围在0.01~0.8(五)期望误差的确定

期望误差值的确定是通过网络对不同误差值分别进行训练后确定的最适合值。最适合值是相对于所需要的隐含层的神经元数来确定,一个较小的误差值的获得需要增加隐含层的神经元数以及训练时间。

(六)输入数据的预处理方式

在MATLAB中提供的预处理方法有三种:归一化处理(将每组数据都变为(-1,1)之间的数,所涉及的函数有PREMNMX、POSTMNMX、TRAMNMX)、标准化处理(将每组数据都变为均值为0,方差为1的数据,所涉及的函数有PRESTD、POSTSTD、TRASTD)和主成分分析(进行正交处理,减少输入数据的维数,所涉及的函数有PREPCA、TRAPCA)。在实证研究中对所涉及的输入数据进行了归一化处理,进行数据输入操作。

(七)网络训练模式

训练网络有两类模式:逐变模式和批变模式。在逐变模式中,输入数据分次作用于网络,网络权值和误差分次更新。在批变模式中,所有输入数据一批次作用于网络,权值和误差只更新一次。使用批变模式不需要为每一层的权值和误差设定训练函数,只需为整个网络指定一个训练函数,使用起来方便,许多改进的快速训练算法只采用批变模式。

与现有的评价方法相比,运用人工神经网络建模评价人员素质,具有较大的优越性,主要表现在:人工神经网络不需构建任何数学模型,不必得出各项影响因素的权重,只靠过去的经验和专家的知识来学习,通过网络学习达到其输出和期望输出的结果。人工神经网络是自适应和可以训练,它有自学习能力,如果它的输出不满足期望结果,网络可以不断调整,整个修正过程可以通过训练算法来实现。

参考文献

[1]张志红,朱冽烈.人才测评实务[M].机械工业出版社,2005