Question

我正在尝试使用flume提取twitter数据。但我收到以下错误

15/04/08 23:16:36 ERROR node.PollingPropertiesFileConfigurationProvider: Unhandled error
 java.lang.NoSuchMethodError: twitter4j.conf.Configuration.isStallWarningsEnabled()Z
at twitter4j.TwitterStreamImpl.<init>(TwitterStreamImpl.java:60)
at twitter4j.TwitterStreamFactory.<clinit>(TwitterStreamFactory.java:40)
at com.cloudera.flume.source.TwitterSource.<init>(TwitterSource.java:64)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
at java.lang.Class.newInstance(Class.java:433)
at org.apache.flume.source.DefaultSourceFactory.create(DefaultSourceFactory.java:42)
at org.apache.flume.node.AbstractConfigurationProvider.loadSources(AbstractConfigurationProvider.java:327)
at org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:102)
at org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:140)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

我使用了来自cloudera的flume-sources-1.0-SNAPSHOT.jar。TwitterAgent运行时出现上述错误。有什么工作吗？

提前致谢。

Answer 1

这显然是依赖性错误。 flume-sources库需要一个不存在的Twitter4j版本，因此NoSuchMethod错误。我建议你拉出正确的版本，这将是

对于Twitter源为1.6.0-SNAPSHOT，对于twitter4j为3.0.3。您应该查阅flume的pom.xml，它包含您需要的所有版本信息。

应该注意的是，您应该尽可能使用最新版本，因为旧的实现不起作用。 Twitter在此期间打破了他们的旧API。

希望这有帮助。

Answer 2

这是Agent.conf文件中Class的完全限定名称的问题。在旧版本中，类名为：com.cloudera.flume.source.TwitterSource 在最新版本的水槽中，TwitterSource已经发货，无需单独下载。类名更改为org.apache.flume.source.twitter.TwitterSource

请小心地更改课程名称，这将是适合您的

Flume twitter配置错误

2 个答案: