用于深度学习的多线程(Python)

时间:2018-04-03 05:33:22

标签: python multithreading python-3.x deep-learning

我在一些中等数据(32K行文本)中使用NLP深度学习编写了一个 python 代码,我遇到了一些问题!

在这个数据量上运行此代码对我来说非常耗时,而且我的PC(iMac 5K)永远无法完成,我搜索了一个更好的方法来运行程序,其中一些人说你应该有一个GPU,然后我听说多线程在多个CPU上运行程序。

问题是:

更好的方法是什么? ..在我的机器上使用多个CPU的方式是什么?

谢谢。

1 个答案:

答案 0 :(得分:1)

人工神经网络需要很长时间才能进行训练 - 取决于网络的结构。您可以尝试减少层和/或神经元的数量,因为密集神经网络需要比卷积神经网络花费更多的时间进行训练...

您没有指定用于实现深度学习算法的框架......我仍然假设像keras / tensorflow / ...这样的大多数框架会自动使用所有CPU内核。

所以是的,您可以尝试在GPU上进行培训,因为它适合高度并行的工作负载。如果您还有剩余资金,可以尝试像AWS这样的云计算。

请记住:人工神经网络的训练时间很长。