管道依赖图

时间:2019-07-17 18:01:32

标签: airflow apache-falcon

我正在为集群中的一些管道创建一个依赖关系图。我试图显示数据的起点和终点以及两点之间的所有数据流。我正在寻找使用apache气流或apache猎鹰来完成此任务的方法。如果您对使用什么工具以及如何开始该项目有任何建议,请告诉我。还请链接与apache falcon有关的所有文档。谢谢。

2 个答案:

答案 0 :(得分:0)

Apache Airflow有一个不错的UI,它允许您以树形,图形甚至是甘特图的形式查看DAG。 Check this out了解更多信息。

答案 1 :(得分:0)

您可以在Airflow中创建自己的UI视图,从而可以显示所需的内容。请参阅气流plugins文档。还要查看Airflow插件github的示例