卷积神经网络的优点

一:什么是卷积神经网络?为什么它们很重要

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。[1] 它包括卷积层(alternating convolutional layer)和池层(pooling layer)。

卷积神经网络是近年发展起来,并引起广泛重视的一种高效识别方法。20世纪60年代,Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性,继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。现在,CNN已经成为众多科学领域的研究热点之一,特别是在模式分类领域,由于该网络避免了对图像的复杂前期预处理,可以直接输入原始图像,因而得到了更为广泛的应用。 K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后,更多的科研工作者对该网络进行了改进。其中,具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”,该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。

二:卷积神经网络中用1*1 卷积有什么作用或者好处

the port for the first time from the

三:卷积神经网络中用1*1 卷积有什么作用或者好处

官方是说对特征图进行线性组合!

四:深度学习和神经网络的区别是什么

这两个概念实际上是互相交叉的,例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。

五:卷积神经网络 为什么优于 机器学习

首先搞清楚机器学习以及卷积神经网络概念。其实卷积神经网络是机器学习中的一种算法。主要用于图像特征提取。而机器学习主要指统计机器学习。而机器学习有三个要素:1、模型2、策略3、算法,CNN属于一种算法。所以没有什么优于的说法。

六:卷积神经网络pooling层有什么用

pooling

理论在于,图像中相邻位置的像素是相关的。对一幅图像每隔一行采样,得到的结果依然能看。

经过一层卷积以后,输入的图像尺寸变化不大,只是缩小了卷积核-1。根据相邻数据的相关性,在每个nxn区域内,一般2x2,用一个数代表原来的4个数,这样能把数据缩小4倍,同时又不会损失太多信息。

一副24*24的图像。用5*5卷积核卷积,结果是20*20(四周各-2),经过2*2池化,变成10*10.

通过池化,数据规模进一步缩小,训练所需时间从而降低。

七:深度卷积神经网络 能实现数据分类吗

当然可以,CNN最初就是用来识别手写的邮编数字,也就是识别一个手写阿拉伯数字是0~9中的哪一个,实际上就是一个十分类问题。

Demo参见:http://yann.lecun.com/exdb/lenet/

八:卷积神经网络和深度神经网络的区别是什么

作者:杨延生

链接:

来源:知乎

著作权归作者所有,转载请联系作者获得授权。

"深度学习"是为了让层数较多的多层神经网络可以训练,能够work而演化出来的一系列的 新的结构和新的方法。

新的网络结构中最著名的就是CNN,它解决了传统较深的网络参数太多,很难训练的问题,使用了逗局部感受野地和逗权植共享地的概念,大大减少了网络参数的数量。关键是这种结构确实很符合视觉类任务在人脑上的工作原理。

新的结构还包括了:LSTM,ResNet等。

新的方法就多了:新的激活函数:ReLU,新的权重初始化方法(逐层初始化,XAVIER等),新的损失函数,新的防止过拟合方法(Dropout, BN等)。这些方面主要都是为了解决传统的多层神经网络的一些不足:梯度消失,过拟合等。

---------------------- 下面是原答案 ------------------------

从广义上说深度学习的网络结构也是多层神经网络的一种。

传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定,没有明确的理论推导来说明到底多少层合适。

而深度学习中最著名的卷积神经网络CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层,而且加入的是一个层级。

输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层

简单来说,原来多层神经网络做的步骤是:特征映射到值。特征是人工挑选。

深度学习做的步骤是 信号->特征->值。 特征是由网络自己选择。

九:卷积神经网络中的卷积核是学习得来,还是预定义好的

学习得来的。

一开始卷积核(参数W和b)都被“初始化”成很小的“随机值”。LeCun和Bengio教授的文章中建议在处理图像问题时,可以选择将W和b按照~U(-sqrt(3/k),sqrt(3/k))初始化。其中k是W和b的连接总数。假如滤波器的大小是4*4,那么k为16,U表示均匀分布,sqrt(*)为平方根运算。当然这个都是从经验出发的建议,并没有很明确的理论依据,如果有兴趣可以往这方面研究。

在使用训练数据对网络进行BP训练时,W和b的值都会往局部最优的方向更新,直至算法收敛。

所以卷积神经网络中的卷积核是从训练数据中学习得来的,当然为使得算法正常运行,你需要给定一个初始值。

深入细节可参考:deeplearning.net/tutorial/lenet.html

扫一扫手机访问

发表评论