是否支持使用Apache beam和SparkRunner运行python程序?
文档似乎没有:https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner
当我查看API参考时 https://beam.apache.org/documentation/sdks/pydoc/0.6.0/apache_beam.runners.html我在那里找不到SparkRunner。
我相信Java的提及和支持,但我想知道python支持是否存在?
答案 0 :(得分:4)
现在不支持在Apache Spark 上运行使用Apache Beam的Python SDK构建的管道。但是,这项工作正在进行中,体现在Apache Beam可移植性框架中。
请继续关注 - 这是应该很快就能提供的东西!
答案 1 :(得分:2)
已添加了对运行Apache Beam Python管道的支持,并提供了有关here入门的说明。