sqoop从hdfs导出到mysql保留分区

Question

我创建了一个多节点hadoop集群并在其上安装了配置单元。另外，在另一台远程机器上我安装了MySQL。 我打算将存储在HDFS中的数据导出到关系数据库MySQL中。我研究了如何使用Sqoop完成这项工作。所以我发现我需要在MySQL中创建一个表，它具有相同顺序的目标列（如Hive中所示），具有适当的SQL类型。然后使用sqoop export命令。

我的问题是： 如果表在Hive中分区，并且如果在MySQL中创建表时我相应地对其进行分区，那么sqoop export命令是否会保留分区？ 我的问题类似于sqoop export mysql partition。我想知道是否已将分区支持添加到sqoop。

这将帮助我决定是否继续为该任务安装scoop或使用我为其编写的一些自定义Python脚本。

谢谢。

Answer 1

与MySQL交谈时，Sqoop将在JDBC层工作。它不会知道底层分区，MySQL会在插入或更新记录时处理它。