使用SQOOP进行数据摄取

时间:2016-11-25 13:33:51

标签: csv hdfs sqoop

我必须使用Sqoop在HDFS中摄取CSV文件。

问题是我正在使用'' (逗号)作为分隔符,我的数据也有一个带有',' s的列。这会产生解析数据的问题。

有人可以建议我该怎么做来解决这个问题吗?

我可以使用SQOOP吗?

1 个答案:

答案 0 :(得分:0)

您可以使用sqoop特定参数--fields-terminated-by在使用sqoop将数据导入hdfs时分隔字段。

如果您尝试从本地文件系统导入csv文件,那么在这种情况下您可以直接使用hadoop fs -put命令将文件放入hdfs。