我可以在GPU上运行包含季节性代码的jupyter笔记本吗?

时间:2019-05-16 14:45:16

标签: machine-learning cuda jupyter-notebook gpu

我的系统中有兼容CUDA的GPU(Nvidia GeForce 1060)。在分析更大的数据集时,我经常不得不使用seaborn库的对图函数,这会花费大量时间。有没有办法可以在GPU上运行我的整个笔记本。我的意思是,除了seaborn之外,我想在GPU上运行所有代码,这可能吗?

我在YouTube上观看了几段建议使用numba python编译器和jit批注的视频,我想知道是否存在可以应用于anaconda框架的通用设置,因此无论我在anaconda上运行什么利用GPU。

我知道tensorflow和keras可以在GPU上运行。

3 个答案:

答案 0 :(得分:5)

  

有没有一种方法可以在GPU上运行我的整个笔记本。我的意思是,除了seaborn之外,我想在GPU上运行所有代码,这有可能吗?

总之,没有没有。无法在GPU上运行通用Python代码或库。

  

我知道tensorflowkeras可以在GPU上运行。

tensorflow和keras都不能在GPU上“运行”。他们可以使用GPU加速部分计算,但是该过程并不涉及在GPU上运行一行Python。

答案 1 :(得分:1)

是的,您完全可以!但是只是不适合seaborn。

您可以使用RAPIDS library and ecosystem(cudf和GPU加速可视化库cuxfilter,其与holoviews,datashader和plot.ly dash api的连接)。以下是cuxfilter的快速入门指南:https://docs.rapids.ai/api/cuxfilter/stable/10%20minutes%20to%20cuxfilter.html

以下是带有破折号api的cuxfilter博客:https://medium.com/rapids-ai/plotly-census-viz-dashboard-powered-by-rapids-1503b3506652

如果您有时间看的话,我们本周将在JupyterCon上做一个教程。 https://cfp.jupytercon.com/2020/schedule/presentation/242/using-rapids-and-jupyter-to-accelerate-visualization-workflows/

答案 2 :(得分:0)

不确定是否支持您的GPU,但现在(2020年第三季度)有使用cudfcupy之类的库在GPU上进行数据处理的选项。

我只是沿着这条道路开始,从我所知不多,您将不得不做一些“额外的”工作来将结果转换为Seaborn可以处理的格式,但是使用cudf(我假设是cupy)的计算是快得多(到目前为止,我已经看到5到25倍的改进,并且阅读了更多的极端案例)。

尽管如此,您将不得不编写更多代码...