我必须使用Sqoop在HDFS中摄取CSV文件。
问题是我正在使用'' (逗号)作为分隔符,我的数据也有一个带有',' s的列。这会产生解析数据的问题。
有人可以建议我该怎么做来解决这个问题吗?
我可以使用SQOOP吗?
答案 0 :(得分:0)
您可以使用sqoop特定参数--fields-terminated-by在使用sqoop将数据导入hdfs时分隔字段。
如果您尝试从本地文件系统导入csv文件,那么在这种情况下您可以直接使用hadoop fs -put命令将文件放入hdfs。