Airflow和Nifi在工作流程中执行相同的工作吗？每个人的赞成/赞成是什么？ 我需要读取一些json文件，向其添加更多自定义元数据并将其放入要处理的Kafka队列中。我能够在Nifi中做到这一点。我还在研究Airflow。我正在尝试为我的项目选择最好的工作流引擎 谢谢！
答案 0 :(得分：23)
有关Airflow和Apache NiFi结帐的详细概述，请参阅此reddit帖子：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
对于您摄取Json文件的特定用例，丰富它们并将它们路由到Kafka我相信NiFi是适合这项工作的正确工具。您可以使用的几个处理器以及每个处理器的文档如下：
JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka（或PublishKafka_0_10，具体取决于您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html