将Facebook,Instagram,Twitter等社交媒体数据加载到Data HUB marklogic中

时间:2019-05-06 12:35:29

标签: marklogic marklogic-dhf

寻找一种简单的方法将来自Facebook,Instagram和Twitter的社交媒体数据加载到Marklogic的数据中心中。

我可以想象,将社交媒体数据存储到HDFS中,然后再存储到MarkLogic中,将是获取大量数据的一种方式。使用MLCP。 我确实在Apache NIFI中进行了检查,是否仍然可以获取社交媒体数据并创建到MarkLogic的流程。但是没有直接连接到Facebook或仅Insta的Twitter的连接。

主要目标:按主题,评分等其他搜索条件从社会秩序中查找所有食品,体育,赛车信息。 来源,文档,图像和文本信息

1 个答案:

答案 0 :(得分:2)

这里的挑战是,从社交媒体平台获取它的难度要大于将其实际添加到MarkLogic中的难度。我建议您继续搜索如何使用NiFi来获取数据-这很可能已经完成。一旦掌握了这些,只需发送到PutMarkLogic处理器,您就可以保持良好状态。

例如,我很快发现了这个问题:https://github.com/iheb-boughzala/AllFbPostsUsingNifi。我还没有详细研究这一问题,但是看起来您只需要用PutHDFS替换PutMarkLogic处理器即可。