从Dataflow(python)中的http端点接收数据

时间:2018-03-15 13:56:53

标签: google-cloud-dataflow apache-beam

您是否了解从Python中编码的Dataflow管道中的HTTP端点摄取数据的方法?

我目前的解决方案是安排对此端点的调用,该端点检索JSON格式的数据,将文件保存在磁盘上并让管道接收它。

我现在想做的是Dataflow定期读取此HTTP端点。

1 个答案:

答案 0 :(得分:1)

正如安德鲁建议你可以尝试在变换(par do)中读取数据。然后可以在下游处理数据。