如何使我的datalab机器学习运行得更快

时间:2017-09-26 12:51:09

标签: google-cloud-platform google-cloud-datalab

我得到了一些数据,这是csv文件中的320万个条目。我试图在张量流中使用CNN估计来训练模型,但它非常慢。每次我运行脚本时,它都会卡住,就像网页(localhost)只是拒绝回复一样。有什么建议? (我已尝试使用22个CPU,我不能再增加它了)

我可以运行它并使用一个线程,比如命令行python xxx.py&保持这个过程?然后在一段时间后回去检查?

2 个答案:

答案 0 :(得分:1)

谷歌为TensorFlow提供无服务器机器学习正是出于这个原因。它被称为Cloud ML Engine。您的工作流程基本上如下所示:

  1. 开发程序,在适合内存的小数据集上训练您的神经网络(解决错误,确保它按照您想要的方式工作)

  2. 将您的完整数据集上传到云端(Google云端存储或BigQuery或& c。)(documentation reference: training steps

  3. 将包含您的培训计划的软件包提交给ML Cloud(这将指向您在云中的完整数据集的位置)(documentation reference: packaging the trainer

  4. 在云端开始培训工作;这是无服务器的,因此它将根据需要扩展到尽可能多的计算机,而无需处理设置集群,& c。 (documentation reference: submitting training jobs)。

  5. 您可以使用此工作流程在大量数据集上训练神经网络 - 尤其适用于图像识别。

    如果这是一个太多的信息,或者如果这是您要做很多工作的工作流程的一部分,并且您想要更好地处理它,Coursera提供了{{3}的课程}。 (我已经接受了,并且对Coursera上Google Cloud产品的质量印象深刻。)

答案 1 :(得分:0)

我很抱歉回答,即使我对数据库是完全陌生的,但你尝试过批处理吗?

我不知道在这种情况下是否可能,但是一次插入可能只有10 000个条目并且在这么多批次中执行此操作,最终所有条目都已输入?