我应该使用什么技术进行流媒体推文和分析?

时间:2017-11-08 11:37:57

标签: twitter apache-kafka spark-streaming

我需要从twitter API流式传输实时推文,然后分析它们。我应该使用kafka直接获取推文或引发流媒体或两者兼而有之?

2 个答案:

答案 0 :(得分:2)

您可以使用Kafka Connect来提取推文,然后使用Kafka Streams或KSQL来分析它们。在这里查看this article,其中描述了这一点。

答案 1 :(得分:0)

根据您选择的语言,我会使用此处列出的库之一:https://developer.twitter.com/en/docs/developer-utilities/twitter-libraries。您选择的是,您将在Twitter API中使用statuses/filter,因此请在此处熟悉该文档:https://developer.twitter.com/en/docs/tweets/filter-realtime/api-reference/post-statuses-filter.html