Python支持Spark Beam中的SparkRunner

时间:2017-05-11 19:09:00

标签: python apache-spark apache-beam

是否支持使用Apache beam和SparkRunner运行python程序?

文档似乎没有:https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner

当我查看API参考时 https://beam.apache.org/documentation/sdks/pydoc/0.6.0/apache_beam.runners.html我在那里找不到SparkRunner。

我相信Java的提及和支持,但我想知道python支持是否存在?

2 个答案:

答案 0 :(得分:4)

现在不支持在Apache Spark 上运行使用Apache Beam的Python SDK构建的管道。但是,这项工作正在进行中,体现在Apache Beam可移植性框架中。

请继续关注 - 这是应该很快就能提供的东西!

答案 1 :(得分:2)

已添加了对运行Apache Beam Python管道的支持,并提供了有关here入门的说明。