HDFS水槽和水槽拦截器吗啉

时间:2019-04-23 17:30:25

标签: flume

我正在尝试使用Flume读取系统日志,使用Morphline分成多个部分,并使用定界符','将结果写入HDFS,但是我不知道如何将'grok'的输出重定向到接收器中。 / p>

谢谢!

这是我的morphline文件:

morphlines:[   {     id:morphline1

commands : [
  {               
    readLine {
      charset : UTF-8
    }
  }

  {
    grok {
      dictionaryFiles : [/grok-dictionaries]
      expressions : {
        message : """<%{POSINT:priority}>%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{DATA:program}(?:\[%{POSINT:pid}\])?: %{GREEDYDATA:msg}"""
      }
    }
  }

]

} ]

1 个答案:

答案 0 :(得分:0)

解决了!这是解决方案:

{        爪哇        {           代码:“”“ record.replaceValues(” _ attachment_body“,record.getFirstValue(” _ attachment_body“)。toString()。getBytes(Charsets.UTF_8));           返回child.process(record);“”“         }     }