使用Flume导入csv

Question

我正在尝试使用flume将csv文件导入HDFS。 但我得到“线长超过最大2048”这个警告和线路被截断。 任何人都可以建议我如何解决这个问题。

以下是我的源文件 -

a1.sources = s
a1.channels = c
a1.sinks = sk

a1.sources.s.type = spooldir
a1.sources.s.spoolDir = /home/itelligence/Desktop/Project 2

a1.channels.c.type = file

a1.sinks.sk.type = hdfs
a1.sinks.sk.hdfs.path = /project 2
a1.sinks.sk.hdfs.fileType = DataStream

a1.sources.s.channels = c
a1.sinks.sk.channel = c

提前谢谢

Answer 1

将此行添加到源文件

a1.sources.s.deserializer.maxLineLength = <MAXIMUM_LINE_LENGTH>