我正在尝试通过在Python中定义管道来运行一组预处理任务。我不确定我是否以正确的方式进行操作,但是管道的第二步什么也没做。关键是如何按此顺序调用自定义函数。在第二步中,我调用一个接收参数的函数,但是该函数永远不会运行。附加了代码的快照。 任何帮助将不胜感激。
p = beam.Pipeline(RUNNER, options=opts)
(p
| 'Read_Data' >> beam.io.Read(read_Data(sql_query_final, project))
| 'Reduce Ydim' >> beam.Map(lambda x: reduce_Ydim(x))
)