我想将CSV文件转换为Avro。目前我正在将我的CSV转换为json,然后从中创建Avro文件。以下是CSV数据示例
name,favorite_number,favorite_color
Rick,26,Red
Mathew,22,Blue
是否有使用avro-tools将CSV文件转换为Avro的直接方法? 可以从文本中完成工作吗?
d:\app>java -jar avro-tools-1.7.7.jar fromtext
Expected 2 args: from_file to_file (local filenames, Hadoop URI's, or '-' for st
din/stdout
Option Description
------ -----------
--codec Compression codec (default: null)
--level <Integer> Compression level (only applies to
deflate and xz) (default: -1)
我已经阅读了使用hive实现的解决方案。 请注意 - 我没有使用Hadoop。
答案 0 :(得分:0)
Avro Tools&#39; fromtext
将转换文件,以便每条记录对应一整行,这不是您想要的。 Csv2avro似乎是您正在寻找的工具。 This blog post提到了两种类似的工具,但它们似乎不太成熟。