Kafka连接器正在启动,可以读取主题中的数据流,但是,它没有写入任何数据,当我停止连接器时,我得到了一个错误
我确保在HDFS文件系统上创建了主题和日志目录
name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=1
topics=rstest
#hdfs.url=adl:///
hdfs.url=hdfs://headnodehost
flush.size=3
这是屏幕上的输出
[2019-05-08 12:08:20,963]信息为以下项打开记录作家:hdfs://headnodehost/topics//+tmp/rstest/partition=1/4ef1de96-bd7c-437c-b210-2ef6e62d3ead_tmp.avro (io.confluent.connect.hdfs.avro.AvroRecordWriterProvider:66) ^ C [2019-05-08 12:08:32,911]信息Kafka Connect正在停止(org.apache.kafka.connect.runtime.Connect:65) [2019-05-08 12:08:32,913]信息正在停止REST服务器(org.apache.kafka.connect.runtime.rest.RestServer:211) [2019-05-08 12:08:32,918]信息已停止http_8083 @ 6c03fb16 {HTTP / 1.1} {0.0.0.0:8083}(org.eclipse.jetty.server.ServerConnector:306) [2019-05-08 12:08:32,958] INFO已停止o.e.j.s.ServletContextHandler@4e31c3ec {/,null,UNAVAILABLE}(org.eclipse.jetty.server.handler.ContextHandler:865) [2019-05-08 12:08:32,960] INFO REST服务器已停止(org.apache.kafka.connect.runtime.rest.RestServer:222) [2019-05-08 12:08:32,960]信息放牧停止(org.apache.kafka.connect.runtime.standalone.StandaloneHerder:77) [2019-05-08 12:08:32,960]信息正在停止任务hdfs-sink-0(org.apache.kafka.connect.runtime.Worker:478) [2019-05-08 12:08:33,113]错误丢弃临时文件hdfs://headnodehost/topics//+tmp/rstest/partition=1/4ef1de96-bd7c-437c-b210-2ef6e62d3ead_tmp.avro时出错关闭TopicPartitionWriter时,rstest-1 partition = 1:(io.confluent.connect.hdfs.TopicPartitionWriter:451) org.apache.kafka.connect.errors.DataException: java.nio.channels.ClosedChannelException 在io.confluent.connect.hdfs.avro.AvroRecordWriterProvider $ 1.close(AvroRecordWriterProvider.java:97)