申请专栏作者
投稿发布
您的当前位置:主页 > yabo亚博体育下载 > 正文

如何在GPU上加速yabo88滚球科学

来源:可思yabo88滚球 时间:2019-08-07
请点击下面的广告后浏览!

笔者按,yabo88滚球科学家需要算力。无论您是用 pandas 处理一个大yabo88滚球集,还是用 Numpy 在一个大矩阵上运行一些计算,您都需要一台强大的机器,以便在合理的时间内完成这项工作。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

在过去的几年中,yabo88滚球科学家常用的 Python 库已经非常擅长利用 CPU 能力。

可思yabo88滚球sykv.com

Pandas 的基础代码是用 C 语言编写的,它可以很好地处理大小超过 100GB 的yabo88滚球集。如果您没有足够的 RAM 来容纳这样的yabo88滚球集,那么您可以使用分块功能,它很方便,可以一次处理一个yabo88滚球块。

可思yabo88滚球-www.sykv.cn,sykv.com

GPUs vs CPUs:并行处理 内容来自可思yabo88滚球sykv.com

有了大量的yabo88滚球,CPU 就不会切断它了。 可思yabo88滚球sykv.com,sykv.cn

yabo亚博体育下载 一个超过 100GB 的yabo88滚球集将有许多yabo88滚球点,yabo88滚球点的数值在数百万甚至数十亿的范围内。有了这么多的yabo88滚球点要处理,不管你的 CPU 有多快,它都没有足够的内核来进行有效的并行处理。如果你的 CPU 有 20 个内核(这将是相当昂贵的 CPU),你一次只能处理 20 个yabo88滚球点!

可思yabo88滚球sykv.com,sykv.cn

CPU 在时钟频率更重要的任务中会更好——或者根本没有 GPU 实现。如果你尝试执行的流程有一个 GPU 实现,且该任务可以从并行处理中受益,那么 GPU 将更加有效。 可思yabo88滚球-www.sykv.cn,sykv.com

如何在GPU上加速yabo88滚球科学 可思yabo88滚球sykv.com,sykv.cn

多核系统如何更快地处理yabo88滚球。对于单核系统(左),所有 10 个任务都转到一个节点。对于双核系统(右),每个节点承担 5 个任务,从而使处理速度加倍

? 可思yabo88滚球-人工智能资讯平台sykv.com

深度学习已经在利用 GPU 方面发挥了相当大的作用。许多在深度学习中完成的卷积操作是重复的,因此在 GPU 上可以大大加速,甚至可以达到 100 次。

可思yabo88滚球sykv.com,sykv.cn

今天的yabo88滚球科学没有什么不同,因为许多重复的操作都是在大yabo88滚球集上执行的,库中有 pandas、Numpy 和 scikit-learn。这些操作也不太复杂,无法在 GPU 上实现。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

最后,还有一个解决方案。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

用 Rapids 加速 GPU 可思yabo88滚球sykv.com

Rapids 是一套软件库,旨在利用 GPU 加速yabo88滚球科学。它使用低级别的 CUDA 代码实现快速的、GPU 优化的算法,同时它上面还有一个易于使用的 Python 层。

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

Rapids 的美妙之处在于它与yabo88滚球科学库的集成非常顺利,比如 pandas yabo88滚球帧就很容易通过 Rapids 实现 GPU 加速。下图说明了 Rapids 如何在保持顶层易用性的同时实现低层的加速。 可思yabo88滚球sykv.com,sykv.cn

如何在GPU上加速yabo88滚球科学

内容来自可思yabo88滚球sykv.com

Rapids 利用了几个 Python 库:

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络
  • cuDF-Python GPU yabo88滚球帧。它几乎可以做 pandas 在yabo88滚球处理和操作方面所能做的一切。
  • cuML-cuGraph 机器学习库。它包含了 Scikit-Learn 拥有的许多 ML 算法,所有算法的格式都非常相似。
  • cuGraph-cuGraph 图处理库。它包含许多常见的图分析算法,包括 PageRank 和各种相似性度量。

如何使用 Rapids

可思yabo88滚球-人工智能资讯平台sykv.com

安装 可思yabo88滚球sykv.com,sykv.cn

现在你将看到如何使用 Rapids! 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

要安装它,请访问这个网站,在这里你将看到如何安装 Rapids。你可以通过 Conda 将其直接安装到你的机器上,或者简单地使用 Docker 容器。 可思yabo88滚球sykv.com,sykv.cn

安装时,可以设置系统规范,如 CUDA 版本和要安装的库。例如,我有 CUDA 10.0,想要安装所有库,所以我的安装命令是:

可思yabo88滚球sykv.com,sykv.cn

 
内容来自可思yabo88滚球sykv.com
  1. conda?install?-c?nvidia?-c?rapidsai?-c?numba?-c?conda-forge?-c?pytorch?-c?defaults?cudf=0.8?cuml=0.8?cugraph=0.8?python=3.6?cudatoolkit=10.0?

一旦命令完成运行,就可以开始用 GPU 加速yabo88滚球科学了。

可思yabo88滚球sykv.com,sykv.cn

设置我们的yabo88滚球 可思yabo88滚球sykv.com,sykv.cn

对于本教程,我们将介绍 DBSCAN demo 的修改版本。我将使用 Nvidia yabo88滚球科学工作站和 2 个 GPU 运行这个测试。 可思yabo88滚球-人工智能资讯平台sykv.com

DBSCAN 是一种基于密度的聚类算法,可以自动对yabo88滚球进行分类,而无需用户指定有多少组yabo88滚球。在 Scikit-Learn 中有它的实现。 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

我们将从获取所有导入设置开始。先导入用于加载yabo88滚球、可视化yabo88滚球和应用 ML 模型的库。 内容来自可思yabo88滚球sykv.com

 

可思yabo88滚球sykv.com

  1. import?os??
  2. import?matplotlib.pyplot?as?plt??
  3. from?matplotlib.colors?import?ListedColormap??
  4. from?sklearn.datasets?import?make_circles?

make_circles 函数将自动创建一个复杂的yabo88滚球分布,类似于我们将应用于 DBSCAN 的两个圆。

可思yabo88滚球sykv.com

让我们从创建 100000 点的yabo88滚球集开始,并在图中可视化:

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球
 
可思yabo88滚球-人工智能资讯平台sykv.com
  1. X,?y?=?make_circles(n_samples=int(1e5),?factor=.35,?noise=.05)??
  2. X[:,?0]?=?3*X[:,?0]??
  3. X[:,?1]?=?3*X[:,?1]??
  4. plt.scatter(X[:,?0],?X[:,?1])??
  5. plt.show()

如何在GPU上加速yabo88滚球科学

本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

CPU 上的 DBSCAN 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

使用 Scikit-Learn 在 CPU 上运行 DBSCAN 很容易。我们将导入我们的算法并设置一些参数。

可思yabo88滚球sykv.com,sykv.cn
 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球 
  1. from?sklearn.cluster?import?DBSCAN??
  2. db?=?DBSCAN(eps=0.6,?min_samples=2)?

我们现在可以通过调用 Scikit-Learn 中的一个函数对循环yabo88滚球使用 DBSCAN。在函数前面加上一个「%」,就可以让 Jupyter Notebook 测量它的运行时间。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球 
  1. %%time??
  2. y_db?=?db.fit_predict(X)?

这 10 万个点的运行时间是 8.31 秒,如下图所示:

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

如何在GPU上加速yabo88滚球科学

可思yabo88滚球sykv.com

使用 Scikit-Learn 在 CPU 上运行 DBSCAN 的结果

? 可思yabo88滚球-www.sykv.cn,sykv.com

GPU 上带 Rapids 的 DBSCAN

可思yabo88滚球-www.sykv.cn,sykv.com

现在,让我们用 Rapids 进行加速! 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

首先,我们将把yabo88滚球转换为 pandas.DataFrame 并使用它创建一个 cudf.DataFrame。pandas.DataFrame 无缝转换成 cudf.DataFrame,yabo88滚球格式无任何更改。 可思yabo88滚球-人工智能资讯平台sykv.com

 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球 
  1. import?pandas?as?pd??
  2. import?cudf??
  3. X_df?=?pd.DataFrame({'fea%d'%i:?X[:,?i]?for?i?in?range(X.shape[1])})??
  4. X_gpu?=?cudf.DataFrame.from_pandas(X_df)?

然后我们将从 cuML 导入并初始化一个特殊版本的 DBSCAN,它是 GPU 加速的版本。DBSCAN 的 cuML 版本的函数格式与 Scikit-Learn 的函数格式完全相同:相同的参数、相同的样式、相同的函数。

可思yabo88滚球sykv.com,sykv.cn

 可思yabo88滚球-www.sykv.cn,sykv.com 
  1. from?cuml?import?DBSCAN?as?cumlDBSCAN??
  2. db_gpu?=?cumlDBSCAN(eps=0.6,?min_samples=2)?

最后,我们可以在测量运行时间的同时运行 GPU DBSCAN 的预测函数。 可思yabo88滚球-人工智能资讯平台sykv.com

 
可思yabo88滚球-人工智能资讯平台sykv.com
  1. %%time??
  2. y_db_gpu?=?db_gpu.fit_predict(X_gpu)?

GPU 版本的运行时间为 4.22 秒,几乎加速了 2 倍。由于我们使用的是相同的算法,因此结果图也与 CPU 版本完全相同。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

如何在GPU上加速yabo88滚球科学 可思yabo88滚球sykv.com,sykv.cn

使用 cuML 在 GPU 上运行 DBSCAN 的结果

?

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

使用 Rapids GPU 获得超高速 可思yabo88滚球sykv.com,sykv.cn

我们从 Rapids 获得的加速量取决于我们正在处理的yabo88滚球量。一个好的经验法则是,较大的yabo88滚球集将更加受益于 GPU 加速。在 CPU 和 GPU 之间传输yabo88滚球有一些开销时间——对于较大的yabo88滚球集,开销时间变得更「值得」。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

我们可以用一个简单的例子来说明这一点。

可思yabo88滚球sykv.com

我们将创建一个随机数的 Numpy 数组并对其应用 DBSCAN。我们将比较常规 CPU DBSCAN 和 cuML 的 GPU 版本的速度,同时增加和减少yabo88滚球点的数量,以了解它如何影响我们的运行时间。 可思yabo88滚球-www.sykv.cn,sykv.com

下面的代码说明如何进行测试: 可思yabo88滚球sykv.com

 可思yabo88滚球sykv.com 
  1. import?numpy?as?np??
  2. ?
  3. n_rows,?n_cols?=?10000,?100??
  4. X?=?np.random.rand(n_rows,?n_cols)??
  5. print(X.shape)??
  6. ?
  7. X_df?=?pd.DataFrame({'fea%d'%i:?X[:,?i]?for?i?in?range(X.shape[1])})??
  8. X_gpu?=?cudf.DataFrame.from_pandas(X_df)??
  9. ?
  10. db?=?DBSCAN(eps=3,?min_samples=2)??
  11. db_gpu?=?cumlDBSCAN(eps=3,?min_samples=2)??
  12. ?
  13. %%time??
  14. y_db?=?db.fit_predict(X)?
  15. ?
  16. %%time??
  17. y_db_gpu?=?db_gpu.fit_predict(X_gpu)?

检查下面的 Matplotlib 结果图: 本文来自可思yabo88滚球(sykv.com),转载请联系本站及注明出处

如何在GPU上加速yabo88滚球科学 内容来自可思yabo88滚球sykv.com

当使用 GPU 而不是 CPU 时,数量会急剧增加。即使在 10000 点(最左边),我们的速度仍然是 4.54x。在更高的一端,1 千万点,我们切换到 GPU 时的速度是 88.04x! 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

可思yabo88滚球sykv.com,sykv.cn

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭