在将twitter数据提取到hdfs

时间:2017-11-01 10:20:57

标签: hdfs flume

在使用FLUME将Twitter数据提取到HDFS时,我一次又一次地收到此错误,只要我更改了twitter4j.jar文件的版本,请告诉我为什么会出现此错误。任何人都可以建议我将成为在HDFS中获取数据的下一步;

  

(conf-file-poller-0)[DEBUG   -org.apache.flume.source.DefaultSourceFactory.getClass(DefaultSourceFactory.java:60)]   源类型org.apache.flume.source.twitter.TwitterSource是一个自定义   类型2017-11-01 15:29:12,648(conf-file-poller-0) [错误 -   org.apache.flume.node.PollingPropertiesFileConfigurationProvider $ FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:150)]   未处理的错误java.lang.NoSuchMethodError:   twitter4j.TwitterStream.addListener(Ltwitter4j / StatusListener;)V at   org.apache.flume.source.twitter.TwitterSource.configure(TwitterSource.java:114)     在   org.apache.flume.conf.Configurables.configure(Configurables.java:41)     在   org.apache.flume.node.AbstractConfigurationProvider.loadSources(AbstractConfigurationProvider.java:326)     在   org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:101)     在   org.apache.flume.node.PollingPropertiesFileConfigurationProvider $ FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:141)     在   java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:511)     at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)     在   java.util.concurrent.ScheduledThreadPoolExecutor中的$ ScheduledFutureTask.access $ 301(ScheduledThreadPoolExecutor.java:180)     在   java.util.concurrent.ScheduledThreadPoolExecutor中的$ ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)     在   java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)     在   java.util.concurrent.ThreadPoolExecutor中的$ Worker.run(ThreadPoolExecutor.java:624)     在java.lang.Thread.run(Thread.java:748)

1 个答案:

答案 0 :(得分:0)

通过添加Twitter4j Stream»3.0.3& Twitter4j核心»3.0.3。