如何使用avro-tools jar将csv文件转换为avro文件格式?

时间:2016-09-27 09:05:17

标签: java csv avro

我想将CSV文件转换为Avro。目前我正在将我的CSV转换为json,然后从中创建Avro文件。以下是CSV数据示例

name,favorite_number,favorite_color
Rick,26,Red
Mathew,22,Blue

是否有使用avro-tools将CSV文件转换为Avro的直接方法? 可以从文本中完成工作吗?

d:\app>java -jar avro-tools-1.7.7.jar fromtext
Expected 2 args: from_file to_file (local filenames, Hadoop URI's, or '-' for st
din/stdout
Option                                  Description
------                                  -----------
--codec                                 Compression codec (default: null)
--level <Integer>                       Compression level (only applies to
                                      deflate and xz) (default: -1)

我已经阅读了使用hive实现的解决方案。 请注意 - 我没有使用Hadoop。

1 个答案:

答案 0 :(得分:0)

Avro Tools&#39; fromtext将转换文件,以便每条记录对应一整行,这不是您想要的。 Csv2avro似乎是您正在寻找的工具。 This blog post提到了两种类似的工具,但它们似乎不太成熟。