前言：中文期刊网精心挑选了卷积神经网络理论范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
卷积神经网络理论范文1
中图分类号：TP183 文献标识码：A 文章编号：1007-9416（2015）12-0000-00
1 引言
卷积神经网络（Convolutional Neural Network， CNN）具有良好的处理能力、自学能力及容错能力，可以用来处理复杂的环境信息，例如，背景情况不明，推理规则不明，样品存有一定程度的缺陷或畸变的情况。所以，卷积神经网络被广泛应用于目标检测、物体识别和语音分析等方面[1]。现场可编程门阵列（Field Programmable Gate Array， FPGA），作为可编程使用的信号处理器件，其具有高集成度、运行高速、可靠性高及采用并行结构的特点，易于配合CNN处理数据。
2 国内外研究现状
2.1 神经网络的模型结构
根据研究角度、数据传递方式、数据处理模式、学习方法等的不同，多种神经网络模型被构建出来。目前主要有四种模型被广泛应用中[2][3]：
（1）前馈型神经网络。此类神经元网络是由触突将神经原进行连接的，所以网络群体由全部神经元构成，可实现记忆、思维和学习。此种类型的网络是有监督学习的神经网络。（2）递归型神经网络。此种神经网络又称为反馈网络，以多个神经元互相连接，组织成一个互连的神经网络，使得电流和信号能够通过正向和反向进行流通。（3）随机型神经网络。此种神经网络的运行规律是随机的，通过有监督学习方法进行网络训练。（4）自组织竞争型神经网络。此种神经网络通过无监督的学习方法进行网络训练，一般具有两层网络结构，输入层和竞争层。两层间的各神经元实现双向全连接。
2.2 神经网络的学习方法
神经网络的学习方法用来解决调整网络权重的问题，是指完成输入特征向量映射到输出变量之间的算法，可以归纳为三类[4-7]：
（1）有监督的学习。在学习开始前，向神经网络提供若干已知输入向量和相应目标变量构成的样本训练集，通过给定输入值与输出期望值和实际网络输出值之间的差来调整神经元之间的连接权重。（2）无监督的学习。此种学习方法只需要向神经网络提供输入，不需要期望输出值，神经网络能自适应连接权重，无需外界的指导信息。（3）强化学习。此种算法不需要给出明确的期望输出，而是采用评价机制来评价给定输入所对应的神经网络输出的质量因数。外界环境对输出结果仅给出评价结果，通过强化授奖动作来改善系统性能。此种学习方法是有监督学习的特例。
2.3 卷积神经网络的结构
卷积神经网络为识别二维或三维信号而设计的一个多层次的感知器，其基本结构包括两种特殊的神经元层，一为卷积层，每个神经元的输入与前一层的局部相连，并提取该局部的特征[8]；二是池化层，用来求局部敏感性与二次特征提取的计算层[8]。作为部分连接的网络，最底层是卷积层（特征提取层），上层是池化层，可以继续叠加卷积、池化或者是全连接层。
3 FPGA实现神经网络的并行体系结构
（1）卷积神经网络的计算架构。卷积神经网络可以使用“主机”与“FPGA”相结合的体系模型，主机用来控制计算的开始和结束，并在神经网络前向传播计算过程中，提供输入图像等数据。主机与FPGA之间的通信可以通过标准接口，在主机进行任务分配的过程中可以对FPGA上的卷积神经网络进行硬件加速。当卷积神经网络开始启动计算，通过标准接口接收到主机传输的图像时，FPGA开始进行计算，并且使用FPGA中的存储器来存储卷积核权值。FPGA将会先完成卷积神经网络前向传播过程的计算，然后将其最后一层计算得到的结果输出给主机。（2）卷积神经网络并行体系架构。一、单输出并行结构：每次计算一个输出图像，其中会将多个输入图像和多个卷积核基本计算单元同时进行卷积运算，然后将全部卷积运算的结果与偏置值进行累加，再将结果输入非线性函数和自抽样子层进行计算。二、多输出并行结构：若卷积神经网络的计算单元中含有多个单输出的并行结构，那么输入数据可同时传送到多个单输出计算单元的输入端，从而组成多个单输出计算单元组成的并行结构。在卷积神经网络的并行计算结构中，每个卷积核计算单元在进行卷积操作时都要进行乘加运算，所以，有必要将单个的卷积运算拆分实现并行化，并且可以尝试将同一层内的多个卷积运算进行并行化。
4 结语
本文对卷积神经网络进行了介绍，总结了国内外的研究现状，结合卷积神经网络运算的特点与FPGA的快速计算单元数量及功能方面的优势，尝试阐述了在FPGA映射过程的卷积神经网络的并行体系结构。
参考文献
[1] Fan J，Xu W，Wu Y，et al. Human tracking using convolutional neural networks[J].IEEE Transactions on Neural Networks，2010（10）：1610-1623.
[2] 杨治明，王晓蓉，彭军.BP神经网络在图像分割中的应用.计算机科学[J].2007（03）：234-236.
[3] Simon Haykin . Neural networks ，a comprehensive foundation[M].second edition，Prentice Hall，1998.
[4] Herta J ， et al.Introduction to Theory of Neural Compution[M].Sant Fee Complexity Science Series，1991.156.
[5] 戴奎.神经网络实现技术[M].长沙：国防科技大学出版社，1998.
[6] 焦李成.神经网络系统理论[M].西安：西安电子科技大学出版社，1996.
卷积神经网络理论范文2
关键词：卷积神经网络；深度学习；图像处理；训练时间
中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）33-0167-04
如今在机器学习领域中，深度学习方法已经占据了相当重要的地位，通过模仿人X学习方式构造模型，在图像、文本、语音处理方面取得了显著成果[1]。目前应用较为广泛的深度学习模型包含多层感知器模型（MLP）[2]，卷积神经网络模型和限制性玻尔兹曼机模型等[4]。多层感知器[2]网络结构的神经节点一般分层排列，主要由输入层，输出层和一些隐层组成，同层之间的神经元节点无连接，相邻的两层神经元进行全连接，前一层的神经元的输出作为后一层神经元的输入，但本身此种算法存在着一些问题，那就是它的学习速度非常慢，其中一个原因就是由于层与层之间进行全连接，所以它所需要训练的参数的规模是非常大的，所以对其进行改进，产生了卷积神经网络模型。卷积神经网络模型在图像识别方面的应用十分广泛[5，8，9]。从它的结构上来看，层与层之间的神经元节点采用局部连接模式，而并非MLP的全连接模型，这样就降低了需要训练的参数的规模。而在它卷积层中，它的每一个滤波器作为卷积核重复作用于整个输入图像中，对其进行卷积，而得出的结果作为输入图像的特征图[6]，这样就提取出了图像的局部特征。而由于每一个卷积滤波器共享相同的参数，这样也就大大降低了训练参数的时间成本。而本文，以卷积神经网络为研究对象，在其模型的基础上通过对其结构中卷积核也就是滤波器的大小进行调整并结合卷积核个数调整和gpu加速等已有的训练提速方法，达到降低训练时间并且对识别结果并无太大影响的目的。
1 卷积神经网络
卷积神经网络在MLP的基础上，已经对结构进行了优化，通过层与层之间的局部连接以及权值共享等方式对要训练的参数的进行了大幅减低。
1.1局部连接
BP神经网络中，神经元在本层中呈线性排列状态，层与层之间进行全连接，而在卷积神经网络中，为了减少每层之间的可训练参数数量，对连接方式进行了修改，相对于BP神经网络的全连接，卷积神经网络采取了局部连接的连接方式[7]，也就是说按照某种关联因素，本层的神经元只会与上层的部分神经元进行连接。
2.2 权值共享
在CNN中，卷积层中的卷积核也就是滤波器，重复作用在输入图像上，对其进行卷积，最后的输出作为他的特征图，由于每个滤波器共享相同的参数，所以说他们的权重矩阵以及偏置项是相同的。
我们从上图看出，相同箭头连线的权值是共享的，这样在原有的局部连接的基础上我们又降低了每层需要训练的参数的数量。
2.3卷积过程
特征图是通过滤波器按照特定的步长，对输入图像进行滤波，也就是说我们用一个线性的卷积核对输入图像进行卷积然后附加一个偏置项，最后对神经元进行激活。如果我们设第k层的特征图记为[hk]，权重矩阵记为[Wk]，偏置项记为[bk]，那么卷积过程的公式如下所示（双曲函数tanh作为神经元的激活函数）：
2.4 最大池采样
通过了局部连接与权值共享等减少连接参数的方式卷积神经网络中还有另外一个重要的概念那就是最大池采样方法，它是一种非线性的采样方法。最大池采样法在对减少训练参数数量的作用体现在两个方面：
1 ）它减小了来自m-1层的计算复杂度。
2 ）池化的单元具有平移不变性，所以即使图像在滤波后有小的位移，经过池化的特征依然会保持不变。
3卷积神经网络整体构造以及减少训练时间的方法
3.1使用GPU加速
本次论文实验中，使用了theano库在python环境下实现卷积神经网络模型，在lenet手写数字识别模型上进行改进，由于theano库本身支持GPU加速，所以在训练速度上实现了大幅度的提高。
3.2 数据集的预处理
本次实验使用的两个数据集是mnist手写数字库以及cifar_10库
Mnist手写数字库具有60000张训练集以及10000张测试集，图片的像素都为28*28，而cifar_10库是一个用于普适物体识别的数据集，它由60000张32*32像素的RGB彩色图片构成，50000张图片组成训练集，10000张组成测试集。而对于cifar_10数据集来说，由于图片都是RGB的，所以我们在进行实验的时候，先把其转换为灰度图在进行存储。由于实验是在python环境下运行，theano函数库进行算法支持，所以我们把数据集进行处理，此处我们对使用的数据集进行了格式化。格式化的文件包括三个list，分别是训练数据，验证数据和测试数据。而list中每个元素都是由图像本身和它的相对应的标签组成的。以mnist数据集为例，我们包含train_set，valid_set，test_set三个list，每个list中包含两个元素，以训练集为例，第一个元素为一个784*60000的二维矩阵，第二个元素为一个包含60000个元素的列向量，第一个元素的每一行代表一张图片的每个像素，一共60000行，第二个元素就存储了对相应的标签。而我们取训练样本的10%作为验证样本，进行相同的格式化，而测试样本为没有经过训练的10000张图片。在以cifar_10数据集为实验对象时，把其进行灰度化后，进行相同的格式化处理方式。
3.3实验模型结构
本次实验是在python环境下基于theano函数库搭建好的lenet模型进行参数的调整，以达到在实验准确度可接受情况下减少训练时间的目的。
上图为实验中的基础模型举例说明实验过程，首先以mnist数据集为例，我们的输入图像为一个28*28像素的手写数字图像，在第一层中我们进行了卷积处理，四个滤波器在s1层中我们得到了四张特征图。在这里要特别的说明一下滤波器的大小问题，滤波器的大小可根据图像像素大小和卷积神经网络整体结构进行设置，举例说明，假如说我们的输入图像为28*28像素的图像，我们把第一层卷积层滤波器大小设置为5*5，也就是说我们用一个大小为5*5的局部滑动窗，以步长为一对整张图像进行滑动滤波，则滑动窗会有24个不同的位置，也就是说经过卷积处理后的C1层特征图的大小为24*24。此处的滤波器大小可进行调整，本论文希望通过对滤波器大小的调整，已达到减少训练时间的目的，并寻找调整的理论依据。C1层的特征图个数与卷积过程中滤波器数量相同。S1层是C1经过降采样处理后得到的，也就是说四点经过降采样后变为一个点，我们使用的是最大池方法，所以取这四个点的最大值，也就是说S1层图像大小为12*12像素，具有4张特征图。而同理S1层经过卷积处理得到C2层，此时我们滤波器的大小和个数也可以自行设置，得到的C2层有6张特征图，C2到S2层进行降采样处理，最后面的层由于节点个数较少，我们就用MLP方法进行全连接。
3.4实验参数改进分析
由此可见，我们对滤波器的大小以及个数的改变，可以直接影响到卷积训练参数的个数，从而达到减少训练时间的目的。
从另一种角度来看，增大滤波器的大小，实际效果应该相似于缩小输入图像的像素大小，所以这样我们可以预测增大滤波器的大小会减少样本的训练时间，但是这样也可能会降低训练后的分类的准确率，而滤波器的大小是如何影响训练时间以及分类准确率的，我们通过对两种图片库的实验来进行分析。
4 实验结果与分析
4.1以mnist手写数字数据集作为实验数据
我们知道卷积层可训练参数的数字与滤波器的大小和数字有关，所以我们通过对卷积层滤波器大小的变化来寻找较为普遍的可减少训练参数从而达到减少训练时间的目的。在实验记录中，我们表格纵列记录两层卷积层滤波器大小，横列分别为对已经过训练图像识别和对未经过训练的验证图像进行识别的错误率，最后记录每种滤波器大小搭配的使用时间。我们设定每次试验都进行100次重复训练，每次对权重矩阵进行优化。
此处我们记录两层滤波器大小之和作为横坐标，比较滤波器大小与实验之间的关系。两层滤波器大小相加后相同的元素我们把其对应时间做平均。
4.2以cifar_10数据集作为实验数据
同样是以100次循环训练进行测试，通过改变两层中滤波器的大小来寻找减少训练时间的设定。
此处以同样的方法，记录两层滤波器大小之和作为横坐标，比较滤波器大小与实验之间的关系。
4.3实验结果分析
从两组试验中，在不同的数据集下，我们得到了滤波器的大小与训练时间成反比的关系，而在减少了训练时间的同时确实增大了训练的错误率。
5 总结
通过实验结果分析表明，增大卷积层滤波器大小的方法，在此两种数据库的情况下，是有效减小训练时间的方式，而在不同的数据库对分类准确率的影响程度不同，mnist手写数字数据库中图像之间的相似度非常高，所以滤波器的增大对准确率产生的负面影响较小，而ifar_10数据集中图像之间的相似度较小，所以增大滤波器的大小对其分类结果的准确率的负面影响较大。
参考文献：
[1]LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.
[2] Ruck D W， Rogers S K， Kabrisky M. Feature selection using a multilayer perceptron[J]. ]Journal of Neural Network Computing， 1990， 2（2）： 40-48.
[3]LeCun Y， Bengio Y. Convolutional networks for images， speech， and time series[J]. The handbook of brain theory and neural networks， 1995， 3361（10）： 1995.
[4] Larochelle H， Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machine learning. ACM， 2008： 536-543.
[5]Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012： 1097-1105.
[6] Zeiler M D， Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Springer International Publishing， 2014： 818-833.
[7] Jarrett K， Kavukcuoglu K， Lecun Y. What is the best multi-stage architecture for object recognition？[C]//2009 IEEE 12th International Conference on Computer Vision. IEEE， 2009： 2146-2153.
卷积神经网络理论范文3
关键词：模式识别卷积神经网络 google earth 应用
中图分类号：TP39 文献标识码：A 文章编号：1007—3973（2012）009—087—02
随着科技的进步，许多发明、电子产品使人们的生活更加方便。生活经常见到的有：笔记本电脑的指纹锁、数码相机的人像识别功能、电脑手写板、语音录入设备、门禁中的虹膜识别技术等等，这些设备与技术中都包含了模式识别技术。这些看似抽象的技术与算法正与其他技术一起悄然的改变人们的生活。
1 什么是模式识别
人们的许多感官功能看似简单，但用人工的办法实现却比较困难。人与人见面相互打招呼。在看见对方的面部后，人能够很快的认定这张脸是个人脸，而且我认识他，应该和他打招呼。这个看似简单的过程其实并不简单，我们不仅仅要识别五官，还要扫描轮廓，而且还要判断是否认识等等。可见，很多看似简单的认知过程，如果试图用某一方法描述确实不宜。对人脸进行模式识别就可以解决这个看似简单的问题。
模式识别（Pattern Recognition）是指通过用计算机对事物或现象的各种形式的（光信息，声信息，生物信息）信息进行处理和和判读，以对事物或现象进行描述、辨认、分类和解释的过程，是人工智能的和信息捕获的重要组成部分。现在被广泛应用于计算机视觉，自然语言处理，生物特征识别，互联网搜索等领域。
2 模式识别与google earth卫星照片
在卫星图片中识别特定的目标，如道路，湖泊，森林等等，往往要运用模式识别技术，现在较为主流的是神经网络识别。上一代的技术室根据RGB提取的，在提取森林或湖泊的时候，有很多干扰颜色，对卫星照片精度有很高要求。根据RGB提取效果不是十分理想，而且计算量大，对硬件有一定要求。
随着神经网络识别技术的发展，现在计算机可自动识别目标。不必使用特殊的卫星波段影像，小型机计算，只要从GOOGLE EARTH获取的普通卫星影像就可以自动识别了。
Google Earth是Google公司开发推出的一款虚拟地球仪软件，它把卫星照片、航空照相布置在一个地球的三维模型上，是一款全球地图集成软件。Google Earth与模式识别技术的综合运用，使其卫星图片在道路规划，通信线路管理，土地勘察，遥感探测等等行业有着很大的运用。
在实际情况下对卫星图片进行模式识别，实现起来有许多困难，光线条件、大地背景、大气云层情况影响以及由于拍摄角度或空气密度等原因导致照片的被照物体的几何变形等都会对识别效果有直接影响。这些都对识别算法要求很高。本文选用的神经网络识别方法，具有识别率高、对不规则物体识别效果好等优点，被广泛运用在许多领域。本文使用改进的卷积神经网络对google earth 卫星图片进行处理，几乎不用对照片进行预处理。这大大节省了运算时间，而且避免了二次处理后对原始文件的污染，大量原始信号被最大程度地保留。
3 模式识别与卷积神经网络
卷积神经网络CNN（Convolutional Neural Networks）是近年发展起来并引起广泛重视的一种高效识别方法。神经网络是受动物神经系统启发，利用大量简单处理单元互联而构成的复杂系统，以解决复杂模式识别与行为控制问题。目前，CNN已经成为国内外科学家研究的重点方向，特别是在模式识别领域。它的优点是不需要对图像进行复杂的预处理，成为大家广为使用的方法。CNN的基本结构一般包括两层：（1）特征提取层。每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，与其他特征间的位置关系也随之确定下来。（2）特征映射层。网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。
4 卷积神经网络在卫星图片识别中的应用
为提高google earth卫星照片中目标的识别率，创造性使用卷积神经网络进行模式识别，其主要部分基本设计结构如图1所示。
图1中，整个结构模仿动物的神经结构，大量的单一识别单元被关联成一个网路。 C层则是由复杂（complex）神经元组成的神经层，它的输入连接是固定的，不可修改，显示接收信心被激励位置的近似变化。网络中C层的最后一层为识别层，显示模式识别的结果。S层为简单（simple）神经元组成的神经层，完成主要信息提取，其输入连接是不是固定的，可在训练的过程中不断修改。这个系统进过不断的训练，输入照片的格式和大小会自动地被识别，大大节省了前期的工作时间，提高了识别速度。
在训练集中同时需要常规积极样本和消极样本，样本包括卫星图片中房屋和道路的1000个图像目标积极训练集。大多数基于学习方法的目标物体识别使用一个大约为10？0的最小输入窗口，好处是可以做到不遗漏任何重要信息。为了达到稳定的效果，对所有原有的训练样进行色彩转换和对比还原转换，得到的积极样本训练集有2400个目标样本。
5 实验结果
分两个步骤进行试验，第一步对卫星图片进行定位和裁剪等预处理，第二步选取合格卫星图片200个样本图片训练卷积神经网络，训练后得到各层3个主要数据：阈值、权值及神经元细胞平面数，然后使用优化后的神经网络识别机对200个测试样本进行检查，其正确的识别率达到97%。实验要注意训练的时间，系统过度训练后，识别率会不断提高，但训练时间的不断增加，测试失败率到最小值后出现及其微细震荡，造成识别率的小幅波动。（见图2）
实验表明，卷积神经网络应用于卫星图片目标识别是完全可行的，训练样本越丰富则则识别率越高。与传统模式识别方法相比有更高的识别率和抗干扰性。本文采用一种改进的基于卷积神经网络的识别机制对卫星照片中的目标物体进行识别。该识别方法通过对目标物体图片的学习，优化了系统中的关键参数的权值。大大提高了目标物体的识别率。
参考文献：
[1] 高隽.智能信息处理方法导论[M].北京：机械工业出版社，2004.
[2] 高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003.
[3] 边肇祺.模式识别[M].北京：清华大学出版社，1987.
卷积神经网络理论范文4
>> 用于脑运作分析的前向网络样本重组树生成算法研究 基于三角构成规则的加权有向网络拓扑生成算法 适用于网络渐进传输的多分辨率曲线生成算法 全排列生成算法比较分析 KenKen问题的生成算法研究 曲线生成算法的文献综述 基于列生成算法的集装箱班轮运输网络优化 基于全卷积神经网络的图像缩略图生成算法 传感器网络中一种基于编码的MAC生成算法 数据库关键词检索中候选元组集连接树生成算法的研究 基于分类随机算法的试卷生成算法研究 分析基于列生成算法的动车组检修计划优化 AOS自相似业务流等时帧生成算法的Matlab仿真分析 关于传统空间缓冲区生成算法的分析 基于Bresenham的直线快速生成算法 题库系统中试卷生成算法的改进 一种可用于脑神经网络分析的有向网络分解算法 形式概念演化生成算法 MPI通信代码自动生成算法 一种启发式双代号网络图自动生成算法 常见问题解答 当前所在位置：l.（Xie Qin. Framework of Brain Information Processing[Z].[2013-10-21]. .）
[30]谢勤.WAP算法连续化及其应用[C].毕业论文，2004.
[31]谢勤.一种可用于脑神经网络分析的有向网络分解算法[J].数字化用户，2014，3：113-116.（Xie Qin. An Arithmetic For Neural Network Analysis： From Directed Graph To FFN Trees [J].Digitization user，2014， 3：113-116.）
[32]谢勤.一种可用于脑神经网络分析的有向网络分解算法[C].第八届海内外华人神经科学家研讨会论文集.北京：科学出版社，2014.（Xie Qin. An Arithmetic For Neural Network Analysis： From Directed Graph To FFN Trees [C]. Proceedings of Symposium for Chinese Neuroscientists Worldwide 2014. Beijing： Science Press. 2014.）
[33]谢勤.用于脑运作分析的前向网络样本重组树生成算法研究[C].电子技术与软件工程，2016，4：258-264.（Xie Qin. FeedForward Network Sample Recombination Tree Generating Arithmetic（DG-FFN SR Trees Arithmetic） And Generation Of Sample Recombination Graph [J]. Electronic Technology & Software Engineering， 2016，4：258-264.）
（通讯作者：谢勤）
作者简介
谢勤（1982-），男，A南理工大学硕士，中国神经科学学会会员，工程师，近年在亚组委信息技术部完成核心信息系统――计时记分和成绩处理系统项目实施管理方面的工作，其中计时记分系统投资一亿。主要研究方向为计算机科学与工程、人工智能、神经生物学。
作者单位
1.广州市科技和信息化局 广东省广州市 510000
2.第16届亚运会组委会信息技术部 广东省广州市 510000
3.广州生产力促进中心 广东省广州市 510000
4.广州市科学技术信息研究所 广东省广州市 510000
5.广州市科技创新委员会 广东省广州市 510000
卷积神经网络理论范文5
过去10年，人们对机器学习的兴趣激增。几乎每天，你都可以在各种各样的计算机科学课程、行业会议、华尔街日报等等看到有关机器学习的讨论。在所有关于机器学习的讨论中，许多人把机器学习能做的事情和他们希望机器学习做的事情混为一谈。从根本上讲，机器学习是使用算法从原始数据中提取信息，并在某种类型的模型中表示这些信息。我们使用这个模型来推断还没有建模的其他数据。
神经网络是机器学习的一种模型，它们至少有50年历史了。神经网络的基本单元是节点(node)，基本上是受哺乳动物大脑中的生物神经元启发。神经元之间的连接也以生物的大脑为模型，这些连接随着时间的推移而发展的方式是为“训练”。
在20世纪80年代中期和90年代初期，许多重要的架构进步都是在神经网络进行的。然而，为了得到好的结果需要大量时间和数据，这阻碍了神经网络的采用，因而人们的兴趣也减少了。在21世纪初，计算能力呈指数级增长，计算技术出现了“寒武纪大爆发”。在这个10年的爆炸式的计算增长中，深度学习成为这个领域的重要的竞争者，赢得了许多重要的机器学习竞赛。直到2017年，这种兴趣也还没有冷却下来；今天，我们看到一说机器学习，就不得不提深度学习。
作者本人也注册了Udacity的“Deep Learning”课程，这门课很好地介绍了深度学习的动机，以及从TensorFlow的复杂和/或大规模的数据集中学习的智能系统的设计。在课程项目中，我使用并开发了用于图像识别的卷积神经网络，用于自然语言处理的嵌入式神经网络，以及使用循环神经网络/长短期记忆的字符级文本生成。
本文中，作者总结了10个强大的深度学习方法，这是AI工程师可以应用于他们的机器学习问题的。首先，下面这张图直观地说明了人工智能、机器学习和深度学习三者之间的关系。
人工智能的领域很广泛，深度学习是机器学习领域的一个子集，机器学习又是人工智能的一个子领域。将深度学习网络与“经典的”前馈式多层网络区分开来的因素如下:
比以前的网络有更多的神经元更复杂的连接层的方法用于训练网络的计算机能力的“寒武纪大爆炸”自动特征提取
这里说的“更多的神经元”时，是指神经元的数量在逐年增加，以表达更复杂的模型。层(layers)也从多层网络中的每一层都完全连接，到在卷积神经网络中层之间连接局部的神经元，再到在循环神经网络中与同一神经元的循环连接(recurrent connections)。
深度学习可以被定义为具有大量参数和层的神经网络，包括以下四种基本网络结构：
无监督预训练网络卷积神经网络循环神经网络递归神经网络
在本文中，主要介绍后三种架构。基本上，卷积神经网络(CNN)是一个标准的神经网络，通过共享的权重在空间中扩展。CNN设计用于通过内部的卷积来识别图像，它可以看到图像中待识别的物体的边缘。循环神经网络(RNN)被设计用于识别序列，例如语音信号或文本。它的内部有循环，这意味着网络上有短的记忆。递归神经网络更像是一个层级网络，在这个网络中，输入必须以一种树的方式进行分层处理。下面的10种方法可以应用于所有这些架构。
1.反向传播
反向传播(Back-prop)是一种计算函数偏导数(或梯度)的方法，具有函数构成的形式(就像神经网络中)。当使用基于梯度的方法(梯度下降只是方法之一)解决优化问题时，你需要在每次迭代中计算函数梯度。
对于神经网络，目标函数具有组合的形式。如何计算梯度呢？有两种常用的方法：(i)解析微分(Analytic differentiation)。你已经知道函数的形式，只需要用链式法则(基本微积分)来计算导数。(ii)利用有限差分进行近似微分。这种方法在计算上很昂贵，因为函数值的数量是O(N)，N指代参数的数量。不过，有限差分通常用于在调试时验证back-prop实现。
2.随机梯度下降法
一种直观理解梯度下降的方法是想象一条河流从山顶流下的路径。梯度下降的目标正是河流努力达到的目标——即，到达最底端(山脚)。
现在，如果山的地形是这样的，在到达最终目的地之前，河流不会完全停下来(这是山脚的最低点，那么这就是我们想要的理想情况。)在机器学习中，相当从初始点(山顶)开始，我们找到了解决方案的全局最小(或最佳)解。然而，可能因为地形的性质迫使河流的路径出现几个坑，这可能迫使河流陷入困境。在机器学习术语中，这些坑被称为局部极小值，这是不可取的。有很多方法可以解决这个问题。
因此，梯度下降很容易被困在局部极小值，这取决于地形的性质(用ML的术语来说是函数的性质)。但是，当你有一种特殊的地形时(形状像一个碗，用ML的术语来说，叫做凸函数)，算法总是保证能找到最优解。凸函数对ML的优化来说总是好事，取决于函数的初始值，你可能会以不同的路径结束。同样地，取决于河流的速度(即，梯度下降算法的学习速率或步长)，你可能以不同的方式到达最终目的地。这两个标准都会影响到你是否陷入坑里(局部极小值)。
3.学习率衰减
根据随机梯度下降的优化过程调整学习率(learning rate)可以提高性能并减少训练时间。有时这被称为学习率退火(learning rate annealing)或自适应学习率(adaptive learning rates)。训练过程中最简单，也是最常用的学习率适应是随着时间的推移而降低学习度。在训练过程开始时使用较大学习率具有进行大的改变的好处，然后降低学习率，使得后续对权重的训练更新更小。这具有早期快速学习好权重，后面进行微调的效果。
两种常用且易于使用的学习率衰减方法如下：
逐步降低学习率。在特定的时间点较大地降低学习率。
4 . Dropout
具有大量参数的深度神经网络是非常强大的机器学习系统。然而，过拟合在这样的网络中是一个严重的问题。大型网络的使用也很缓慢，这使得在测试时将许多不同的大型神经网络的预测结合起来变得困难。Dropout是解决这个问题的一种方法。
Dropout的关键想法是在训练过程中随机地从神经网络中把一些units(以及它们的连接)从神经网络中删除。这样可以防止单元过度适应。在训练过程中，从一个指数级的不同的“稀疏”网络中删除一些样本。在测试时，通过简单地使用一个具有较小权重的单一网络，可以很容易地估计所有这些“变瘦”了的网络的平均预测效果。这显著减少了过拟合，相比其他正则化方法有了很大改进。研究表明，在视觉、语音识别、文档分类和计算生物学等监督学习任务中，神经网络的表现有所提高，在许多基准数据集上获得了state-of-the-art的结果。
5. Max Pooling
最大池化(Max pooling)是一个基于样本的离散化过程。目标是对输入表示(图像，隐藏层输出矩阵等)进行下采样，降低其维度，并允许对包含在分区域中的特征进行假设。
这在一定程度上是为了通过提供一种抽象的表示形式来帮助过拟合。同时，它通过减少学习的参数数量，并为内部表示提供基本的平移不变性(translation invariance)，从而减少计算成本。最大池化是通过将一个最大过滤器应用于通常不重叠的初始表示的子区域来完成的。
6.批量归一化
当然，包括深度网络在内的神经网络需要仔细调整权重初始化和学习参数。而批量标准化有助于实现这一点。
权重问题：无论权重的初始化如何，是随机的也好是经验性的选择也罢，都距离学习到的权重很遥远。考虑一个小批量(mini batch)，在最初时，在所需的特征激活方面将会有许多异常值。
深度神经网络本身是有缺陷的，初始层中一个微小的扰动，就会导致后面层巨大的变化。在反向传播过程中，这些现象会导致对梯度的分散，这意味着在学习权重以产生所需输出之前，梯度必须补偿异常值，而这将导致需要额外的时间才能收敛。
批量归一化将梯度从分散规范化到正常值，并在小批量范围内向共同目标(通过归一化)流动。
学习率问题：一般来说，学习率保持较低，只有一小部分的梯度校正权重，原因是异常激活的梯度不应影响学习的激活。通过批量归一化，减少异常激活，因此可以使用更高的学习率来加速学习过程。
7.长短时记忆
LSTM网络在以下三个方面与RNN的神经元不同：
能够决定何时让输入进入神经元；能够决定何时记住上一个时间步中计算的内容；能够决定何时让输出传递到下一个时间步长。
LSTM的优点在于它根据当前的输入本身来决定所有这些。所以，你看下面的图表：
当前时间标记处的输入信号x(t)决定所有上述3点。输入门从点1接收决策，遗忘门从点2接收决策，输出门在点3接收决策，单独的输入能够完成所有这三个决定。这受到我们的大脑如何工作的启发，并且可以基于输入来处理突然的上下文/场景切换。
8. Skip-gram
词嵌入模型的目标是为每个词汇项学习一个高维密集表示，其中嵌入向量之间的相似性显示了相应词之间的语义或句法相似性。Skip-gram是学习单词嵌入算法的模型。
Skip-gram模型(以及许多其他的词语嵌入模型)的主要思想是：如果两个词汇项(vocabulary term)共享的上下文相似，那么这两个词汇项就相似。
换句话说，假设你有一个句子，比如“猫是哺乳动物”。如果你用“狗”去替换“猫”，这个句子仍然是一个有意义的句子。因此在这个例子中，“狗”和“猫”可以共享相同的上下文(即“是哺乳动物”)。
基于上述假设，你可以考虑一个上下文窗口(context window，一个包含k个连续项的窗口)，然后你跳过其中一个单词，试着去学习一个能够得到除跳过项外所有项的神经网络，并预测跳过的项是什么。如果两个词在一个大语料库中反复共享相似的语境，则这些词的嵌入向量将具有相近的向量。
9.连续词袋(Continuous Bag Of Words)
在自然语言处理问题中，我们希望学习将文档中的每个单词表示为一个数字向量，使得出现在相似的上下文中的单词具有彼此接近的向量。在连续的单词模型中，我们的目标是能够使用围绕特定单词的上下文并预测特定单词。
我们通过在一个庞大的语料库中抽取大量的句子来做到这一点，每当我们看到一个单词时，我们就会提取它周围的单词。然后，我们将上下文单词输入到一个神经网络，并预测位于这个上下文中心的单词。
当我们有成千上万的这样的上下文单词和中心词以后，我们就有了一个神经网络数据集的实例。训练神经网络，最后编码的隐藏层输出表示特定单词的嵌入。而当我们对大量的句子进行训练时也能发现，类似语境中的单词得到的是相似的向量。
10.迁移学习
卷积神经网络理论范文6
网络的跨时空性、便利性、匿名性和实施交互性等特点，使得网络沟通成为一种发展最迅速的沟通形式。互联网的广泛普及和迅猛发展在给人们的工作和生活带来诸多便利的同时，也正在缔造着一种危机――网络成瘾。现代医学证实，一个人如果不能控制对网络的依赖，很容易患上“网络成瘾综合征”（internet addiction disorder简称IAD），医学上又称之为“病态性使用互联网”（pathological internet use 简称PIU）。据中国互联网中心（CNNIC）2004年6月30日的第十四次《中国互联网发展状况统计报告》显示：2004年6月30日，8700万的网民中18~24岁的用户占36.8%居首位。这表明，上网正逐步成为大学生生活的重要组成部分。
由网络成瘾而引发的心理障碍或社会适应障碍等案例正随着网络的普及逐渐增多。网络成瘾会导致部分大学生学习成绩下降、行为异常、心理错位。在极端情况下，网络成瘾者不再清楚虚拟和现实世界的区别，使得他们的人际关系和社会生活受到影响，长期下去必会阻碍学习和生活的正常进行。在大学生中，网络成瘾已成为影响其学习、生活、身心健康的重大公害，因此必须重视大学生的网络心理。关于大学生网络成瘾的研究主要集中于定性的描述和理论探讨上。对造成网络成瘾的原因探讨涉及到个人心理因素和外部环境两方面。本研究主要探讨大学生网络成瘾与其各心理因素之间的关系。
材料和方法
1.材料
很多研究表明，网络成瘾者往往具有某些特殊的人格特征，如角色混乱、人格扭曲、道德感弱化等。本研究拟通过病例对照研究来揭示网络成瘾大学生的人格特征及应对方式、人际交往、社会支持、生活满意度等方面的情况。
2.研究工具
将网络成瘾问卷、问卷艾森克人格问卷（EPQ）、卡特尔16种人格因素分析（16PF）、简易应对方式问卷（SCSQ）、交往焦虑量表（IAS）、人际信任量表（IT）、领悟社会支持量表（PSSS）和生活满意度指数B（LSIB）按顺序编制成一份问卷。
其中网络成瘾问卷由Young KS编制，共8个问题，以“是”与“否”作答（“是”1分，“否”0分），总分≥5分者可判定为网络成瘾（IAD）。
3.取样
从黑龙江大学2002~2005级404个专业本科生中，利用SPSS软件采用整群随机抽样的方式，共抽取13个专业（班级），1071名学生，发放网络使用情况调查问卷1030份，回收问卷906份，其中有效问卷881份。
4.施测过程
以班为单位进行统一施测，主试经过严格培训。
5.分组
在调查对象中选取网络成瘾问卷总分≥5分者进行访谈，确认具有网络成瘾的被试共50人（男生41人、女生9人）为病例组。从样本总体中排除成瘾组的学生后利用SPSS软件随机抽样选取对照组98人（男生83人、女生15人）。经检验，病例组和对照组在人口学统计资料方面均无显著性差异，可以用作对比分析。
6.数据处理
应用SPSS11.0统计分析软件包对数据进行描述性统计分析，t检验、方差分析、x2检验、多元逐步回归分析及相关分析。
结果分析
一是大学生中存在一定比例的网络成瘾现象，本研究结果表明，大学生网络成瘾发生率为6.02%。
二是网络成瘾状况在性别、年级、家庭所在地和专业特征方面有一定差异。其中男生网络成瘾发生率明显高于女生、城镇生源学生的网络成瘾发生率明显高于农村生源，理工科专业学生的网络成瘾发生率明显高于文科类学生、各年级学生网络成瘾的发生率也各有不同，二、三年级学生的网络成瘾发生率明显高于一、四年级；其中大二最高，大一最低；一年级到二年级显著增高，三年级到四年级比例显著降低。
三是EPQ问卷结果显示除E量表外其余各量表均分IAD组均高于非IAD组，在P（精神质）量表中IAD组与非IAD组有显著差异（P
四是16PF问卷对比分析中，部分因子在被试中有显著差异。
五是在SCSQ、IAS、IT、PSSS和LSIB问卷分析中，在积极应对方式上IAD组和非IAD组有差异（P
六是以网络成瘾问卷分数作因变量，将与网络成瘾相关的有统计学差异的因子P（精神质）、积极应对方式、领悟社会支持、生活满意度、性别、平均每周上网时间、平均每周上网次数等可能的影响因素作自变量，以后退法（最大似然比函数检验）（入选标准α=0.50，剔除标准β＝0.10）进行多因素条件逻辑回归分析。结果表明性别、平均每周上网时间、生活满意度三个因子对网络成瘾有预测作用。
一点建议
网络成瘾大学生整体心理健康水平相对要低于非网络成瘾者的心理健康水平，这种不良的人格特征和生活事件的应激相互作用，使网络成瘾者愈发沉迷于网络，不能自拔，以致引发更严重的后果，因此必须重视青少年和大学生中的网络成瘾情况，采取有力措施。
第一，引导大学生合理利用网络，净化网络环境。正值青春期的大学生，心理发展正处于走向成熟的关键时期。应制定相应的网络管理条例，对大学生的非理性的网络行为加以引导和约束，强化大学生的网络责任感，鼓励他们控制上网时间，养成良好的上网习惯。同时应加强网络监督机制，倡导诚信上网，净化网络环境，要在加强社会监管的同时从自身做起，抵制网络的不良行为。
第二，培养大学生的网络心理素质。一个心理健康的人需要有正确的认知、健全的意志、恰当的自我评价，良好的人际交往和社会适应能力。大学生网络的心理素质要充分适应网络环境和网络社会生活。首先，要培养良好的网络认知能力，即认识到网络的正负两面性，趋利避害、合理利用。其次，要培养良好的网络交往能力，要了解网络的虚拟性和现实世界的差别，真诚待人。最后，要有健全的意志和恰当的自我评价，健全的意志和恰当的自我评价可以表现出较多的自觉性、果断性、持之以恒，不受外界诱惑，对自己抱有正确的态度，不骄傲也不自卑。
第三，帮助大学生确立目标，合理进行生活规划。许多大学生沉迷于网络是因为进入大学后失去了理想和目标，转而从网络中寻找慰藉。应当帮助大学生树立切实的目标，合理进行生活规划，让他们知道大学阶段知识积累的重要性，树立切实的目标并为之奋斗。同时鼓励大学生积极参加学校的集体活动，在活动中获得知识，增强思考能力，提高实践技能，逐渐分散对网络的关注和依赖。
第四，积极塑造健全人格。美国心理学家奥尔波特认为，成熟、健康是人格健全的标志，健全的人格可以使大学生迅速适应环境，进行自我调整，在新的环境中找到自己的朋友，排除各方面的干扰，及时宣泄不良情绪，具有正确的自我认知，能够解决内心冲突。
参考文献：
[1]丁海燕.网络成瘾研究述评.大学时代B，2006（4）.
[2]叶新东.网络成瘾研究概述.心理科学，2004；27（10）：144-148.
[3]林绚辉，阎巩固.大学生上网行为及网络成瘾探讨[J].中国心理卫生杂志，2001，15（4）：281-283.
[4]王立皓，童辉杰.大学生网络成瘾与社会支持、交往焦虑、自我和谐的关系[J].健康心理学杂志，2003，11（2）：94-96.
[5]张宏如.网络成瘾学生动机与人格特征[J].健康心理学杂志，2003，11（5）：398-400.
