使用NiFi处理器将facebook数据提取到hadoop的过程

Question

有没有办法使用NiFi处理器将facebook数据提取到hdfs？到目前为止，我没有找到关于这种情况的单一来源或样本......如果可能的话？程序是什么？

Answer 1

您应该能够使用HTTP处理器（GetHttp，PostHttp，InvokeHttp）与Facebook API进行交互。对于OpenGraph API（可能还有其他），您需要HTTPS，因此您必须设置SSL上下文等。在https://community.hortonworks.com/questions/20424/add-certificates-facebook-to-apache-nifi.html进行了很好的交流，解释了如何做到这一点。

一旦数据不在Facebook和您的流程中，您就可以使用PutHDFS将文件写入Hadoop。