将数据从HDFS导出到MySQL，但是在进入MySQL之前应先更新数据

Question

我需要将数据从MySQL导入到HDFS，而我正在使用Apache Sqoop。但问题是，我还需要将数据从HDFS导出到MySQL，并且需要在将数据移至MySQL之前更新这些数据的一列（即HDFS中的数据），我该怎么做？

Answer 1

您可以直接从hdfs更新该列，并可以使用INSER OVERWRITE DIRECTORY“ path”将配置单元输出存储到HDFS，然后使用以下sqoop命令

 sqoop export \
--connect jdbc:mysql://master/poc \
--username root \
--table employee \
--export-dir /user/hdfs/mysql/export.txt \
--update-key id \
--update-mode allowinsert \
--fields-terminated-by '\t' \
-m 1

希望这会有所帮助。