申请专栏作者
您的当前位置:主页 > yabo亚博体育下载 > 正文

用Numpy搭建神经网络第二期:梯度下降法的实现

来源: 时间:2019-06-05
请点击下面的广告后浏览!
小伙伴们大家好呀~~用Numpy搭建神经网络,我们已经来到第二期了。第一期教大家如何用Numpy搭建一个简单的神经网络,完成了前馈部分。

这一期,为大家带来梯度下降相关的知识点,和上一期一样,依然用Numpy实现梯度下降。在代码开始之前,先来普及一下梯度下降的知识点吧。

内容来自可思yabo88滚球

梯度下降:迭代求解模型参数值

可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

第一期文章中提到过,最简单的神经网络包含三个要素,输入层,隐藏层以及输出层。关于其工作机理其完全可以类比成一个元函数:Y=W*X+b。即输入yabo88滚球X,得到输出Y。

可思yabo88滚球-人工智能资讯平台

如何评估一个函数的好坏,专业一点就是拟合度怎么样?最简单的方法是衡量真实值和输出值之间的差距,两者的差距约小代表函数的表达能力越强。

内容来自可思yabo88滚球

这个差距的衡量也叫损失函数。显然,损失函数取值越小,原函数表达能力越强。

可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

那么参数取何值时函数有最小值?一般求导能够得到局部最小值(在极值点处取)。而梯度下降就是求函数有最小值的参数的一种方法。

本文来自可思yabo88滚球,转载请联系本站及注明出处

梯度下降数学表达式

可思yabo88滚球-人工智能资讯平台

比如对于线性回归,假设函数表示为hθ(x1,x2…xn)=θ0+θ1x1+..+θnxn,其中wi(i=0,1,2...n)为模型参数,xi(i=0,1,2...n)为每个样本的n个特征值。这个表示可以简化,我们增加一个特征x0=1,这样h(xo,x1,.…xn)=θ0x0+θ1x1+..+θnxn。同样是线性回归,对应于上面的假设函数,损失函数为(此处在损失函数之前加上1/2m,主要是为了修正SSE让计算公式结果更加美观,实际上损失函数取MSE或SSE均可,二者对于一个给定样本而言只相差一个固定数值):

内容来自可思yabo88滚球

?

内容来自可思yabo88滚球

?

可思yabo88滚球-人工智能资讯平台

算法相关参数初始化:主要是初始化θ0,θ1..,θn,我们比较倾向于将所有的初始化为0,将步长初始化为1。在调优的时候再进行优化。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

对θi的梯度表达公式如下:

可思yabo88滚球

?

本文来自可思yabo88滚球,转载请联系本站及注明出处

? 可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

用步长(学习率)乘以损失函数的梯度,得到当前位置下降的距离,即: 本文来自可思yabo88滚球,转载请联系本站及注明出处

?

可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

? 可思yabo88滚球-人工智能资讯平台

梯度下降法的矩阵方式描述

本文来自可思yabo88滚球,转载请联系本站及注明出处

对应上面的线性函数,其矩阵表达式为: 可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

?

可思yabo88滚球

?

可思yabo88滚球-www.sykv.cn,sykv.com

损失函数表达式为:

可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

? 可思yabo88滚球-人工智能资讯平台

?

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

其中Y为样本的输出向量。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

梯度表达公式为: 可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

? 可思yabo88滚球

? 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

还是用线性回归的例子来描述具体的算法过程。损失函数对于向量的偏导数计算如下:

可思yabo88滚球-人工智能资讯平台

?

可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

? 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

迭代:

可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

?

内容来自可思yabo88滚球

? 可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

两个矩阵求导公式为:

可思yabo88滚球

? 内容来自可思yabo88滚球

?

可思yabo88滚球-www.sykv.cn,sykv.com

用Python实现梯度下降

可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

?

内容来自可思yabo88滚球

? 可思yabo88滚球

导入两个必要的包。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

? 可思yabo88滚球-www.sykv.cn,sykv.com

? 可思yabo88滚球

定义标准化函数,不让过大或者过小的数值影响求解。

可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

定义梯度下降函数: 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

?

本文来自可思yabo88滚球,转载请联系本站及注明出处

?

可思yabo88滚球-人工智能资讯平台

其中,dataset代表输入的yabo88滚球,alpha是学习率,maxcycles是最大的迭代次数。

本文来自可思yabo88滚球,转载请联系本站及注明出处

即返回的权重就是说求值。np.zeros 是初始化函数。grad的求取是根据梯度下降的矩阵求解公式。 内容来自可思yabo88滚球

本文参考B站博主菊安酱的机器学习。感兴趣的同学可以打开链接观看视频哟~

可思yabo88滚球-www.sykv.cn,sykv.com

https://www.bilibili.com/video/av35390140

可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

好了,梯度下降这个小知识点就讲解完了,下一期,我们将第一期与第二期的知识点结合,用手写数字的yabo88滚球完成一次神经网络的训练。 可思yabo88滚球-www.sykv.cn,sykv.com

作者:蒋宝尚 本文来自可思yabo88滚球,转载请联系本站及注明出处

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? 网站地图?? 联系我们??

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部