寻找火花上的kedro +气流实施方案。插件现在可用于Spark吗？
看了PipelineX，但找不到关于spark的相关示例？
答案 0 :(得分：0)
我还没有准备好或没有看到将Spark与PipelineX或Airflow一起使用的示例，但是应该可以使用kedro-airflow在Spark上运行任务。
以下文档和DataEngineerOne的视频可能会有所帮助。
https://kedro.readthedocs.io/en/stable/10_tools_integration/01_pyspark.html?highlight=Spark