从数据流

时间:2016-03-24 12:18:23

标签: python tensorflow google-cloud-dataflow

我正在玩tensorflow,今天我注意到google也为他们的数据流开源了Python SDK。 目前,当我需要并行训练和评估多个网络时,我通常使用luigi和一个接一个的模型训练,或者我使用spark,我在地图步骤中执行每个模型训练。 整个数据处理只是管道的一部分。

我想知道是否存在或者是否计划在数据流管道内执行tensorflow模型训练步骤?

目前有一些最好的做法吗?

或者我是否必须在地图步骤中运行每个模型设置?

我浏览了文档,现在看起来真的很模糊,所以我在这里问是否有人有这方面的经验。

1 个答案:

答案 0 :(得分:1)

目前没有任何计划。

如果您可以在一台计算机上运行Tensorflow培训(听起来这就像您使用Spark一样)那么应该可以在DoFn数据流管道中进行培训。