如何安排pyspark作业和创建工作流程

Question

我们正在将在数据阶段编写的旧ETL作业转换为PySpark。我们没有任何hadoop设置。 我需要为ETL定序器创建工作流程，该工作流程将调用pyspark脚本。这些脚本将根据工作流程设计顺序或并行运行。 如果任何脚本失败，则主定序器必须停止。我还需要具有监视工作流进度的功能。 这里有没有可以利用的工具。