我正在玩tensorflow,今天我注意到google也为他们的数据流开源了Python SDK。
目前,当我需要并行训练和评估多个网络时,我通常使用luigi
和一个接一个的模型训练,或者我使用spark
,我在地图步骤中执行每个模型训练。
整个数据处理只是管道的一部分。
我想知道是否存在或者是否计划在数据流管道内执行tensorflow模型训练步骤?
目前有一些最好的做法吗?
或者我是否必须在地图步骤中运行每个模型设置?
我浏览了文档,现在看起来真的很模糊,所以我在这里问是否有人有这方面的经验。
答案 0 :(得分:1)
目前没有任何计划。
如果您可以在一台计算机上运行Tensorflow培训(听起来这就像您使用Spark一样)那么应该可以在DoFn
数据流管道中进行培训。