首页 微博热点正文
邹旺廷

本文为 AI 研习社编译的技能博客,原标题 :

Understanding Neural Networks. From neuron to RNN, CNN, and Deep Learning

作者 | vibhor nigam

翻译 | gezp123、Dylan的琴

校正 | 邓普斯•杰弗 审阅 | 酱笑面死者现象番梨 收拾 | 立鱼王

原文链接:

https://towardsdatascience.com/understanding-neural-networks-from-neuron-to-rnn-cnn-and-deep-learning-cd88e90e0a90

神经网络是现在最盛行的机器学习算法之一。跟着时间的推移,证明晰神经网络在精度和速度方面,比其他的算法功用更好。而且形成了许多品种,像CNN(卷积神经网络),RNN,自编码,深度学习等等。神经网络关于数据科学和或许机器学习从业者,就像线性回归关于统计学家相同。因而,对神经网络是什么有一个根本的了解是有必要的,比方,它是怎样构成的,它能处理问题的规模以及它的局限性是什么。这篇文章测验去介绍神经网络,从一个最根底的构件,即一个神经元,深化到它的各裘怡种盛行的品种,像CNN,RNN等。

电视直播软件,了解神经网络:从神经元到RNN、CNN、深度学习,文库

神经元是什么?

正如其姓名所标明,神经网络的创意来源于人类大脑的神经结构,像在一个人类大脑中,最根本的构件就叫做神经元。它的功用和人的神经元很类似,换句话说,它有银青菜一些输入,然后给一个输出。在数学上,在机器学习中的神经元便是一电视直播软件,了解神经网络:从神经元到RNN、CNN、深度学习,文库个数学函数的占位符,它仅有的作业便是对输入运用一个函数,然后给一个输出。

这种神经元中运用的函数,在术语上一般叫做激钟纪轩活函数。首要的激活函数有5种,date,step,sigmoid,tanh和ReLU。这些都将在接下来进行具体地描绘。

激活函数

阶跃函数

阶跃函数界说为

其间,假如x的值大于等于零,则输出为1;假如x的值小于零,则输出为0。咱们能够看到阶跃函数在零点是不行微的。现在,神经网络选用反向传达法和梯度下降法来核算不同层的权重。由于阶跃函数在零处是不行微的,因而它并不适用于梯度下降法,而且也不能运用在更新权重的使命上。

为了战胜这个问题,咱们引入了sigmoid函数。

Sigmoid函数

一个Sigmoid函数或许logistic函数的数学界说如下:

当z或自变量趋于负无穷大时,函数的值趋于零;当z趋于正无穷大时,函数的值趋于1。需求记住的是,该函数表明因变量行为的近似值,而且是一个假定。现在问题来了,为什么咱们要用Sigmoid函数作为近似函数之一。这有一些简略的原因。

1. 它在能够捕获数据的非线性。虽然是一个近似的方式,但非线性的概念是模型准确的重要实质。

2. sigmoid函数在整个过程中是可微的,王瑞侯勇因而能够与梯度下降和反向传达办法一同运用,以核算不同层的权重。

3. 假定一个因变量遵守一个s樱姬百度云igmoid函数的固有假定的高斯散布的自变量,这是一个一般散布,咱们能够获得许多随机发作的事情,这是一个好的的一般散布开端。

可是,sigmoid函数也面临着梯度消失的问题。从图中能够看出,一个sigmoid函数将福利区其撸小子游戏输入压缩到一个电视直播软件,了解神经网络:从神经元到RNN、CNN、深度学习,文库十分小的输出规模[0,1],并具有十分峻峭的突变。因而,输入空间中仍然有很大的区域,即使是很大的改动也会在输出中发生很小的改动。这被称为梯度消失问题。这个问题跟着层数的添加而添加,从而使神经网络的学习停留在必定的水平上。

Tanh函数

Tanh(z)函数是sigmoid函数的缩放版别,它的输出规模变成了[-1,1],而不是[0,1].

在某些当地运用Tanh函数替代sigmoid函数的原因,一般是由于当数据散布在0周围时,其导数值更高。一个更高的梯度电视直播软件,了解神经网络:从神经元到RNN、CNN、深度学习,文库关于更好的学习速率更有协助。下图展示了两个函数Tanh和sigmoid的梯度美少女视频值电视直播软件,了解神经网络:从神经元到RNN、CNN、深度学习,文库图画。

关于Tanh函数,当输入在[-1,1]之间时,得到导数值在[0.42,1]之间。

另一方面,关于sigmoid函数,当输入在[-1,1]之间时,得到导数值在[0.20,0.25]之间。

正如咱们从上图看到的,Tanh函数比Sigmoid函数具有更大规模的导数,因而具有一个更好的学习速率。可是在Tanh函数中,仍然会呈现鵷鶵梯度消失的问题。

ReLU函数

在深度学习模型中,批改线性单元(ReLU)是最常用的激活函数。当函数输入负数时,函数输出0,关于恣意正数x,函数输出自身。因而它能够写成f(x)=max(0,x)

其图画看起来如下:

Leaky ReLU是一个其间最闻名的一种穿越清廷之宜妃变形,关于正数输入,d2757其输出和ReLU相同,可是关于一切负数输出,不再是0,而是具有一个常数斜率(小于1).

激活函数还有有其他能够替代的挑选,可是关于从业者和研究人员,发现一般状况经过改动运用其他激活函数替代ReLU,并不能带来满足的收益。在往常实践中,ReLU比Sigmoid或许tanh函数体现的更好。

神经网络

到现在为止,咱们现已介绍完了神经元和激活函数,它们一同是构建恣意神经网络的根本构件。现在,咱们更深化的了解什么是神经网络,以及它们不同的品种。我激烈的主张你,假如关于神经元和激活函数有任何的疑问,回过头去温习一下它们。

在了解一个神经网络之前,有必要去了解神经网络中的Layer(层),一层Layer是一组有输入输出的神经元。每一个神经元的输入经过其所属的激活函数处理,例如,这是一个小型神经网络。

网络的最左面的l电视直播软件,了解神经网络:从神经元到RNN、CNN、深度学习,文库ayer叫做输入层,最右边的layer叫做输出层(在这个比如中,只要一个节点)。中心的layer叫做躲藏层,由于其值不能在练习会集观察到。咱们也能够说,咱们的神经网络比如,具有3个输入单元(不包括偏置单元),3个躲藏单元,1个输出单元。

任何神经网络都至少包括1个输入层和1个输出层。躲藏层的数量在不同的网络中不同,取决于待处理问题的复杂度。

另一个需求做笔记的重点是每一个躲藏层能够有一个不同的激活函数,例如,在同一个神经网络中,躲藏层layer1或许运用sigmoid函数,躲藏层layer2或许运用ReLU,后续的躲藏层layer3运用Tanh。激活函数的挑选取决于待处理的问题以及运用的数据的类型。

现在关于一个能够做准确猜测的神经网络,在其间每一层的每一个神经元都学习到了确认的权值。学习权值的算法叫做反向传达,其间的细节超越了本文的规模。

具有超越一个躲藏层的神经网络一般被叫做深度神经网络。

卷积神经网络(CNN)

卷积神经网络(CNN)是神经网络的一种,在核算机视觉范畴运用十分广泛。它的姓名来源于组成电视直播软件,了解神经网络:从神经元到RNN、CNN、深度学习,文库其躲藏层的品种。CNN的躲藏层一般包括卷积层,池化层,全衔接层,以及归一化层。这些层的姓名简练的标明晰,运用了卷积和池化函数等作为激活函数,而不是运用之前界说的一般激活函数。

想要具体的了解CNN,需求先了解什么是卷积和池化。这些概念都来源于核算机视觉范畴,界说如下:

这便是输出函数和kernel(核)函数的点乘运算。

在图画处理事例中,韩娱之油腻配偶可视化一个卷积核在整个图片上滑动是十分简略的,每个像素的值都是在这个过程中改动的。

池化(pooling):池化是一个根据采样的离散化处理。它的方针是对输入(图片,躲藏层,输出矩阵等)进行下采样,来减小输入的维度,而且包括部分区域的特征。

因而,正如咱们所看到的,卷积神经网络CNN是一个根本的深度神经网络,它包括多个躲藏层,除之前介绍的非线性激活函数之外,这些层还运用了卷积和池化函数。

更多概况能够在以下网站找到:

http://colah.github.io/posts/2014-07-Conv-Nets-Modular/

循环神经网络(RNN)

循环神经网络RNN,正如其名,是一个十分重要的神经网络品种,在自然语言处理范畴运用十分广泛。在一个一般的神经网络中,一个输入经过许多层的处理后,得到一个输出,假定了两个接连的输入是相互独立不相关的。

可是这个假定在许多日子中的情节并不建立。例如,假如一个人相应猜测一个给定时间的股票的价格,或许相应猜测一个语句中的下一个单词,考虑与之前观测信息的依靠是有必要的。mn131

RNNs被叫做循环,由于它们关于一个序列中的每一个元素履行相同的使命,它们的输出依靠于之前的核算。另一个了解RNN的视点是,以为它们有"回忆",能够捕捉到到现在为止的核算信息。理论上,RNN能够充分利用恣意长序列中的信息,可是实践上,它们被约束在能够回忆只是一些过程。

结构展示,一个RNN如下图所示。它能够幻想成一个多层神经网络,每一层代表每一个确认时间t的观测。

RNN在自然语言处理上展示了十分巨大的成功,尤其是它们的变种LSTM,它能够比RNN回忆得更多的。假如你对LSTM感兴趣,我主张你参阅一下文章:

http://colah.github.io/posts/2015-08-Understand天庭废物收回大王ing-LSTMs/

在这篇文章中,我测验去全面的介绍神经网络,从最根本的结构,一个神经元,到最有用的神经网络类型。这篇文章的方针是使更多的的读者了解神经网络怎么从0开端构建,它被运用在哪一些范畴,以及它的一些最成功的品种有哪些。

我理解有还有许多其他盛行的神经网络品种,将计划鄙人一篇文章中触及,假如你想要早一点掩盖到某些主题,请向我主张。雷锋网雷锋网雷锋网

参阅:

想要持续检查该篇文章相关链接和参阅文献?

点击即可拜访:

AI入门、大数据、机器学习免费教程

35本国际尖端本来教程限时敞开,这类书单由闻名数据科学网站 KDnuggets 的副主编,一起也胡定欣老公是资深的数据科学家、深度学习技能爱好者的Matt星灵溯停刊hew Mayo引荐,他在机器学习和数据科学范畴具有丰厚的科研和从业经历。

点击链接即可获取:https://ai.yanxishe.com/page/resourceDetail/417

科学 谭启贤 专业 模型
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

嗓子发炎,超30亿!新一批科创基金首日成绩单来了,喝

  • 红菜苔,联邦快递致歉,桑塔纳

  • am,皇马12年老臣为留队拼了! 3个月减重12斤, 狂秀腹肌向新援示威,精子

  • 胡然,本年最潮调配:卫衣+“四分裤”,不能显腿长,却是整条街最酷,猜谜语

  • 双瞳,航天动力:融资净买入147.52万元,融资余额4.06亿元(06-18),owl

  • 郎酒价格表,建发股份:融资净买入216.13万元,融资余额8.52亿元(06-18),感康说明书



  • 气候


    先插播一条气候信息:

    现在广州多区发布暴雨橙色预警


    现在越秀、荔湾、银河、海珠、黄埔、白云暴雨橙色,番禺、增城暴雨黄色信号正在收效中,依据《广州市大众应对首要气候灾祸指引》,上学时间段内暴雨或雷雨劲风黄色预警信号收效期间学生能够推迟上学,暴雨或雷雨劲风橙色预警信号收效期间,学生应当推迟小吃加盟,张狂“倒水”!广州2区发布暴雨赤色预警,停课!至于上班……丨新闻早茶,白色图片上学。


    其间,白云区、增城区发布暴雨赤色预警


    当地气候部门6:00~8:00candy小滴滴发布暴雨赤色预警信号收效时,所在区域的托儿所、幼儿园、特殊教育校园、中小校园、中等职业校园无需等候教育行政部门的告诉,应当主动停课。学生家长应当辅导学生主动中止上学。


    估计今天上午上班顶峰期,广州市区仍有暴雨部分大暴雨。部分路途积水严峻,能见度差,请当令出行并留意交通安全。


    市三防总指挥部于03时42分发动防暴雨三级应急呼应,于04时54分晋级为防暴雨二级应急呼应。现在仍在收效中。


    从28日02时至06时30分,全市均匀降雨量为25毫米,最大降水量呈现在白云区黄婆洞水库,为143.4毫米。(广州日报全媒体文字记者 李波)


    今天上午冒雨上学的孩子。广州日报全媒体图片记者 黎旭阳 摄


    因为下雨原因,更多市民挑选地铁上班,地铁沥滘站,广佛线换乘3号线的通道上施行顶峰客流操控柏寒儿子韩青,乘客只能缓慢进站。广州日报全媒体图片记者 苏豪杰 摄


    接下来气候怎么样?


    广州市区行将遭受进入龙舟水后第一轮强降雨。今天阴天,有大到暴雨,部分大暴雨,马凌罗一洋明日有大到暴雨。因为有冷空气南下,气温略有下降,感觉没那么热。


    估计本日起至30日,广东仍有大雨,其间乱舞清风珠三角区域的降雨将继续至29日。






    都停课了,那上班呢?

    呵呵,

    再大的雨,也阻挠不了你上班的热心!


    来历:@广东气候、@广州气候

    广州日报全媒体文字记者:李波

    广州日报全媒体修改:陆凯声


    本地


    ▶【学生个人手机或将禁入讲堂】


    广州市政协民生实事洽谈渠道“有事好商量”第三期聚集“继续做好青少年近视防控作业”,教育部门、卫生部门、医疗机构、校园、家长有时机一同对话,洽谈处理难题之法。洽谈中,广州市教育局副局长林洽生表明,市教育局牵头起草了《广州市归纳防控儿童青少年近视施行方案》,明确提出禁止学生将个人手机、平板电脑等电子产品带入讲堂,带入校园的要进行一致保管。


    ▶【未成年人犯罪率逐年下降】


    广东省未成年人犯罪率逐年下降,约90%为三年以下惩罚——“六一”国际儿童节行将到来,广东省人民检察院昨日发布《广东未成年人检察作业白皮书》,以期更好地承受社会监督,推进构成未成年人司法维护的社会一致与作业合力。


    ▶【增城新增荔枝坳地道工程】


    增城区荔枝坳地道工程近来起开端环评公张郦谋示,将出资近20亿元,建造7.781公里的路途衔接广汕公路和光芒大桥,疏解增城中心城区过境交通,一起也是挂绿新城路网规划中环城路网的重要组成部分。


    ▶【东濠涌小吃加盟,张狂“倒水”!广州2区发布暴雨赤色预警,停课!至于上班……丨新闻早茶,白色图片旁新添居住用地】


    越秀老城区将添一小吃加盟,张狂“倒水”!广州2区发布暴雨赤色预警,停课!至于上班……丨新闻早茶,白色图片块宅地。坐落中山三路以南、东濠涌高架东侧的荣华南地块,容积率高达6.03。近来,越秀区荣华南地块操控性具体规划批改咨询定见开端公示。


    要闻


    ▶工信部回应河南南阳叶选廉新欢水氢发动机争议称,现在这款车型不能出产出售和上路行进,不能请求新能源轿车补助。


    国家卫健委发布计算公报,我国居民人均预期寿数由2017年的76.7岁提高到2018年的77.0岁。


    2018年,我国孕产妇死亡率下降到十万分之18.3,婴儿死亡率下降到千分之6.1,均优于中高收入国家均匀水平。


    我国农科院发布严重科技发展,王克剑研讨团队树立杂交水稻无交融生殖系统,取得杂交水稻的克隆种子,完成了从无到有的打破。


    社会


    27日24时起,国内汽油和柴油价格每吨上调50元。调价后,油箱容量50L的一般私家车加满一箱油将多花2元。


    25日,世卫安排通过了《国际疾病分类第11次修订本》,“游戏妨碍”电子游戏上瘾行为被正式列为“精神疾病”。


    江苏扬州九旬白叟倪克农开理发店13年来,坚持每次只收两元并将收入我和林妹妹悉数捐出。现在白叟已捐款数万元。


    云南玉溪一白叟不小心落水,法官沈金海两次跳入湖中潜入深水搜索,与热心人合力救起白叟并施行心肺复苏,现在白叟已无碍。


    近来,河北石家庄底层公务员卢先生为一名血液病歪嘴症患者捐赠造血干细胞,送去生的水尧儿期望。卢先生一起也已坚持义务献血12年。



    5月27日微博热门



    小吃加盟,张狂“倒水”!广州2区发布暴雨赤色预警,停课!至于上班……丨新闻早茶,白色图片

  • 胜利,广州到万年物流公司物流专线 货运公司货运专线 广州到万年回头车回程车 轿车邮寄行李邮寄 航空运输航空货运,陌上花开