Question

我使用以下配置详细信息使用Flume将Twitter提要推送到HDFS，但在Flume事件标题中获得预期时间戳，但它为空

twitter.conf

TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS

TwitterAgent.sources.Twitter.type = org.apache.flume.source.twitter.TwitterSource
TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sources.Twitter.consumerKey = xxxxxxxxxxxxxxxxxxxxx
TwitterAgent.sources.Twitter.consumerSecret = xxxxxxxxxxxxxxxxxxxxxxxx
TwitterAgent.sources.Twitter.accessToken =  xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
TwitterAgent.sources.Twitter.accessTokenSecret = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
TwitterAgent.sources.Twitter.keywords = bigdata, hadoop, hive, hbase
TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.hdfs.path = /user/farooque/bigdata/tweets/%Y/%m/%d/%H/
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 10
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000

TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 10000
TwitterAgent.channels.MemChannel.transactionCapacity = 100

使用命令

运行

$ flume-ng agent --conf-file twitter.conf --name TwitterAgent

其中twitter.conf是我的配置文件名

但是将错误视为：

java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
        at com.google.common.base.Preconditions.checkNotNull(Preconditions.java:204)
        at org.apache.flume.formatter.output.BucketPath.replaceShorthand(BucketPath.java:200)
        at org.apache.flume.formatter.output.BucketPath.escapeString(BucketPath.java:396)
        at org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:388)
        at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68)
        at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:147)
        at java.lang.Thread.run(Thread.java:745)
15/06/04 18:26:01 ERROR flume.SinkRunner: Unable to deliver event. Exception follows.

寻求进一步的帮助??

Answer 1

在 twitter.conf 中添加了一个配置属性

TwitterAgent.sinks.HDFS.hdfs.useLocalTimeStamp = true

问题得到解决。

有关详细信息Refer Hadoop tutorial.info

Answer 2

使用选项＆＃34; TwitterAgent.sinks.HDFS.hdfs.useLocalTimeStamp = true＆＃34;，它将使用目的地的时间戳（即HDFS接收器）。相反，如果你想使用实际事件的时间戳，那么我们必须使用拦截器。在配置或属性文件中使用以下行。

TwitterAgent.sources.Twitter.interceptors = interceptor1
TwitterAgent.sources.Twitter.interceptors.interceptor1.type = timestamp

Answer 3

您使用的是org.apache.flume.source.twitter.TwitterSource，这是Apache提供的Twitter来源。在Flume Event中没有内置timestamp。所以你有两个选择：

1）在配置文件中使用 com.cloudera.flume.source.TwitterSource 。

2）或者您可以在配置文件中添加TwitterAgent.sinks.HDFS.hdfs.useLocalTimeStamp = true属性。

请注意，您遇到此问题，因为您在HDFS路径/user/farooque/bigdata/tweets/%Y/%m/%d/%H/中指定了时间戳参数。如果你没有指定这些，那么Apache和Cloudera提供的源代码都可以正常工作。

Flume事件标头中的预期时间戳，但它为null

3 个答案: