如何在apache flink上运行用python编写的beam管道

Question

我用python sdk编写了我的光束管道。我使用芹菜作为直接跑步者的包装。 我想用flink runner来平衡我的负载。

根据文档，您需要将您的工作作为flink runner的jar文件。

你能指点我可以使用apache beam python sdk和apache flink的任何资源吗？ 有样品吗？

Answer 1

至于现在（Apache Beam 2.2.0），Apache Beam Python SDK不支持Apache Flink Runner。当您尝试在Python管道中使用FlinkRunner时，您将获得ValueError：

  

ValueError：意外的管道运行器：FlinkRunner。有效值是   DirectRunner，EagerRunner，DataflowRunner，TestDataflowRunner或者   PipelineRunner子类的完全限定名称。

您可以在源代码中看到此内容：https://github.com/apache/beam/blob/d11b9e9560131f55b418a13a7d10401c2135fb33/sdks/python/apache_beam/runners/runner.py#L62