使用Cygnus HDFS接收器时获取null.txt文件

Question

我使用Cygnus 0.5和HDFS接收器的默认配置。为了让它运行，我已经停用了＆＃34; ds＆＃34;拦截器（否则我在启动时遇到错误，阻止Cygnus启动，与未找到匹配的表文件有关）。

Cygnus似乎有效，但实体信息存储在HDFS中的文件有一个奇怪的名字：＆＃34; null.txt＆＃34;。我该如何解决这个问题？

Answer 1

首先不要停用 DestinationExtractor拦截器。这是一段代码，用于推断Orion通知的上下文数据将被保留的目标。请注意目的地可能是指HDFS文件名，MySQL表名或CKAN资源名，这取决于您配置的接收器。一旦被驱动，目的地将被添加到内部Flume事件中，作为名为destination的标题，以便接收器知道将保留的位置。因此，如果停用，则接收器找不到此类标头，并使用null名称作为目标名称。

关于＆＃34;未找到的匹配表文件＆＃34;你经历过的问题（以及哪些引导你停用拦截器），这是由于Cygnus配置模板的cygnusagent.sources.http-source.interceptors.de.matching_table参数的默认值不正确。这已在Cygnus 0.5.1中得到解决。

Answer 2

Cygnus 0.5.1发布时的解决方法是：

• 不要停用DestinatonExtractor（正如@frb在他的回答中所说）
• 创建一个空的匹配表文件并将其用于matching_table配置，即：touch /tmp/dummy_table.conf然后在天鹅座配置文件中设置：cygnusagent.sources.http-source.interceptors.de.matching_table = /tmp/dummy_table.conf