我得到了一些数据,这是csv文件中的320万个条目。我试图在张量流中使用CNN估计来训练模型,但它非常慢。每次我运行脚本时,它都会卡住,就像网页(localhost)只是拒绝回复一样。有什么建议? (我已尝试使用22个CPU,我不能再增加它了)
我可以运行它并使用一个线程,比如命令行python xxx.py&保持这个过程?然后在一段时间后回去检查?
答案 0 :(得分:1)
谷歌为TensorFlow提供无服务器机器学习正是出于这个原因。它被称为Cloud ML Engine。您的工作流程基本上如下所示:
开发程序,在适合内存的小数据集上训练您的神经网络(解决错误,确保它按照您想要的方式工作)
将您的完整数据集上传到云端(Google云端存储或BigQuery或& c。)(documentation reference: training steps)
将包含您的培训计划的软件包提交给ML Cloud(这将指向您在云中的完整数据集的位置)(documentation reference: packaging the trainer)
在云端开始培训工作;这是无服务器的,因此它将根据需要扩展到尽可能多的计算机,而无需处理设置集群,& c。 (documentation reference: submitting training jobs)。
您可以使用此工作流程在大量数据集上训练神经网络 - 尤其适用于图像识别。
如果这是一个太多的信息,或者如果这是您要做很多工作的工作流程的一部分,并且您想要更好地处理它,Coursera提供了{{3}的课程}。 (我已经接受了,并且对Coursera上Google Cloud产品的质量印象深刻。)
答案 1 :(得分:0)
我很抱歉回答,即使我对数据库是完全陌生的,但你尝试过批处理吗?
我不知道在这种情况下是否可能,但是一次插入可能只有10 000个条目并且在这么多批次中执行此操作,最终所有条目都已输入?