使用Flume根据国家/地区下载特定推文

Question

我想使用Flume从Twitter源下载特定的推文到HDFS，例如tweets.country = US。如何定制Flume呢？

Answer 1

检查这个github项目，使用Streaming API分析hadoop中的实时推文。

https://github.com/cloudera/cdh-twitter-example

在此计划中进行以下更改：https://github.com/cloudera/cdh-twitter-example/blob/master/flume-sources/src/main/java/com/cloudera/flume/source/TwitterSource.java

double[][] locations = { { 40.714623d, -74.006605d },
            { 42.3583d, -71.0603d } };
FilterQuery query = new FilterQuery().locations(locations);
  twitterStream.filter(query);

（第149行）