Python中的数据流管道

时间:2018-09-13 10:23:51

标签: pipeline dataflow

我正在尝试通过在Python中定义管道来运行一组预处理任务。我不确定我是否以正确的方式进行操作,但是管道的第二步什么也没做。关键是如何按此顺序调用自定义函数。在第二步中,我调用一个接收参数的函数,但是该函数永远不会运行。附加了代码的快照。 任何帮助将不胜感激。

   p = beam.Pipeline(RUNNER, options=opts)

   (p
     | 'Read_Data' >> beam.io.Read(read_Data(sql_query_final, project))
     | 'Reduce Ydim' >> beam.Map(lambda x: reduce_Ydim(x))
     )

0 个答案:

没有答案