气流：使用LivyBatchOperator提交纱线中的pyspark应用程序

Question

我遇到了一个叫做 LivyBatchOperator 的东西，但是找不到一个很好的例子来提交pyspark应用程序。对此的任何信息将不胜感激。预先感谢。

Answer 1

我遇到了这个blog post，它可以帮助您逐步了解Airflow + Spark上的可用选项。

Here是LivyBatchOperator的示例，而here是有关如何安装airflow-livy-operator的示例。

我建议以下选项：

1. AWS EMR ：：使用 EmrAddStepsOperator
2. 常规Spark集群：使用上述机制在气流中设置Livy操作员。从气流服务器的角度来看，这将为您提供精巧的配置，以及在火花群集之前使用Livy。

让我知道您的回应！