如何使用现有模式文件

时间:2018-04-03 11:14:10

标签: hdfs avro flume flume-ng

我有来自源的json数据,我想使用avro格式的水槽将其转储到hdfs,我已经有了avsc文件,我使用以下配置为接收器,但那不是选择我的avsc文件但是创建自己的模式:

  

agent1.sinks.sink1.type = hdfs agent1.sinks.sink1.serializer =   org.apache.flume.serialization.AvroEventSerializer $生成器   agent1.sinks.sink1.hdfs.path = / tmp / data   agent1.sinks.sink1.schemaURL =文件:///home/tmp/schema.avsc   log4j.appender.flume.AvroSchemaUrl =文件:///home/tmp/schema.avsc   agent1.sinks.sink1.hdfs.rollSize = 1024   agent1.sinks.sink1.hdfs.rollCount = 0 agent1.sinks.sink1.hdfs.fileType   = DataStream agent1.sinks.sink1.channel = channel1

我该怎么做?

0 个答案:

没有答案