Spark的TwitterUtils库是否捕获了所有的twitters?

时间:2015-08-19 12:16:51

标签: scala apache-spark bigdata spark-streaming

我正在使用Spark的Twitterutils库与twitters合作。但是,我平均每秒只有60个嘀嗒声,而每秒必须有更多的嘀嗒声。所以,似乎TwitterUtils库没有捕获所有的twitters。对此有什么解决方案吗?

1 个答案:

答案 0 :(得分:3)

这与Spark的库没有关联,但与Twitter的流限制无关。如果您使用公共Twitter流,则限制为全球流量的1%,即大约60条推文/秒。

如果您想要无限制访问,您需要订阅付费服务,例如Twitter子公司Gnip(http://www.gnip.com)。