标签: google-cloud-dataflow apache-beam
您是否了解从Python中编码的Dataflow管道中的HTTP端点摄取数据的方法?
我目前的解决方案是安排对此端点的调用,该端点检索JSON格式的数据,将文件保存在磁盘上并让管道接收它。
我现在想做的是Dataflow定期读取此HTTP端点。
答案 0 :(得分:1)
正如安德鲁建议你可以尝试在变换(par do)中读取数据。然后可以在下游处理数据。