Twitter搜索API和Hadoop

Question

我需要使用Twitter Search API并将Twitter数据导入我的HDFS。 Search API使用REST调用，我试图了解如何将其用于Apache Flume。我需要授权密钥才能使用Twitter的API，但我不知道如何使用flume实现Search API。需要帮忙！谢谢！

Answer 1

1. 在twitter中创建一个开发者帐户并生成您自己的密钥。
2. 将flume-source-1.0-SNAPSHOT.jar文件添加到lib文件夹中。
3. 使用密钥创建一个水槽配置文件，以便从Twitter获取推文并将其存储到hdfs中。
4. 使用以下命令
开始你

命令：bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent

有关详细信息，请参阅以下链接：

http://www.thecloudavenue.com/2013/03/analyse-tweets-using-flume-hadoop-and.html

Answer 2

首先，您需要在twitter中创建应用程序。去 https://apps.twitter.com/并创建应用程序然后记住生成的四个密钥 - 消费者密钥，消费者密钥，访问令牌和访问令牌密钥。

下载apache-flume-1.x.0-bin.tar.gz。此处x表示最新版本。解压后，将以下命令添加到~/.bashrc文件中：

export FLUME_HOME=location of untar flume file
export PATH=$PATH:$FLUME_HOME/bin

保存上述文件后，在终端中运行source ~/.bashrc。之后按照以下网站命令执行：

https://acadgild.com/blog/streaming-twitter-data-using-flume/