申请专栏作者
您的当前位置:主页 > yabo88滚球 > 正文

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

来源:未知 时间:2019-07-26
请点击下面的广告后浏览!

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

训练神经网络,硬件要过硬?现在谷歌提出强有力反驳。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

GPU和像谷歌TPU这样的硬件加速器大大加快了神经网络的训练速度,推助AI迅速成长,在各个领域发挥超能力。

可思yabo88滚球

然而,硬件发展再迅速,也总有力有不逮的时候。 可思yabo88滚球

比如,由于芯片的架构方式,像yabo88滚球预处理这样的训练pipeline早期阶段并不会受益于硬件加速器的提升。 可思yabo88滚球-www.sykv.cn,sykv.com

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

谷歌大脑的科学家们可不希望看到算法掣肘硬件,于是他们研究出了一种名为“yabo88滚球回放(Data Echoing)”的新技术。

可思yabo88滚球

加速神经网络训练速度,这回不靠折腾半导体。

本文来自可思yabo88滚球,转载请联系本站及注明出处

Data Echoing的黑科技

新的加速方法的核心在于减少训练pipeline早期阶段消耗的时间。

内容来自可思yabo88滚球

按照经典的训练pipeline,AI系统先读取并解码输入yabo88滚球,然后对yabo88滚球进行混洗,应用转换扩充yabo88滚球,然后再将样本收集到批处理中,迭代更新参数以减少误差。

可思yabo88滚球-www.sykv.cn,sykv.com

Data Echoing是在pipeline中插入了一个阶段,在参数更新之前重复前一阶段的输出yabo88滚球,理论回收空闲算力。

可思yabo88滚球-www.sykv.cn,sykv.com

如果重复yabo88滚球的开销可以忽略不计,并且echoing任意侧的阶段都是并行执行的,那么yabo88滚球回放完成一个上游步骤和e个下游步骤的平均时间就是: 可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

假设上游步骤花费的时间大于等于下游步骤花费的时间,你会发现附加的下游步骤是“免费”的,因为它们利用了空闲的下游容量。 可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

data echoing缩短训练时间的关键在于上游步骤和下游步骤之间的权衡。 可思yabo88滚球

一方面,重复yabo88滚球的价值可能会比新yabo88滚球的价值低,那么data echoing就需要更多的下游SGD(随机梯度下降)更新来达到预期性能。

可思yabo88滚球

另一方面,data echoing中每个下游步骤仅需要1/e个上游步骤。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

如果下游步骤因回放因子而增加的数量比e小,那么上游步骤的总数就会减少,总的训练时间也就减少了。 可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

需要注意的是,有两个因素会影响在不同插入点处data echoing的表现:

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

在批处理前回放(echoing) 可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

在批处理之前回放意味着yabo88滚球是在样本级别而不是批处理级别重复和混洗的,这增加了临近批次不同的可能性,代价是批次内可能会有重复的样本。

可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

在yabo88滚球扩增前回放

可思yabo88滚球

在yabo88滚球增强之前进行回放,重复yabo88滚球就可能以不同的方式转换,这样一来重复yabo88滚球就会更像新yabo88滚球。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

效果如何 可思yabo88滚球-AI,智能驾驶,人脸识别,区块链,大yabo88滚球

研究团队对这一方法进行了实验,他们选择了两个语言模型任务,两个图像识别任务和一个对象检测任务,AI模型都是用开源yabo88滚球集训练的。 本文来自可思yabo88滚球,转载请联系本站及注明出处

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

实验中,“新”训练样本(训练样本从磁盘中被读取出来,就算做一个新的样本)的数目达到指定目标的时间就算作训练的时长。同时,研究人员也会调查data echoing是否减少了所需的样本数量。

可思yabo88滚球-www.sykv.cn,sykv.com
谷歌大脑新算法,不折腾TPU就能加快AI训练速度

除了用ImageNet训练的ResNet-50,data echoing的效率都比基线方法效率高。并且更早地在pipeline中插入echoing,训练所需的新样本会更少。 可思yabo88滚球-AI,人工智能,深度学习,机器学习,神经网络

而随着批量大小的增加,data echoing相对于基线方法的改进会更加明显。 内容来自可思yabo88滚球

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

摩尔定律的黄昏

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

随着摩尔定律走向终结,要依靠芯片制造工艺的突破来实现人工智能算力的提升越来越困难,虽然有硬件加速器加持,但CPU这样的通用处理器依然成为了神经网络训练速度进一步提升的拦路虎。 可思yabo88滚球-人工智能资讯平台

另辟蹊径,以算法性能来突破重围,正在成为New sexy。

内容来自可思yabo88滚球

论文地址:https://arxiv.org/abs/1907.05550 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? 网站地图?? 联系我们??

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部