Sqoop与TINYTEXT，TEXT，MEDIUMTEXT和LONGTEXT的兼容性

Question

对于我的项目，我想使用sqoop将多个MySQL数据库表转移到hive中。因为我有一些列使用MEDIUMTEXT数据类型，所以我想检查与有经验的人的兼容性，以防止突然发生意外。

取自最新的Sqoop userguide (1.4.6)，直接模式下BLOB，CLOB或LONGVARBINARY列没有兼容性。

鉴于没有提到与＆＃34; TEXT＆＃34;的不兼容性。数据类型，我可以毫无问题地从MySQL导入它们吗？

Answer 1

在MySQL中，TEXT与CLOB相同。用户指南提到CLOB的限制适用于TEXT类型。

与典型的数据类型不同，CLOB和TEXT不需要将数据内联存储到记录中，而是可以将内容存储在单独的文件中，并且记录中将有指针。这就是为什么直接路径不适用于大多数数据库中的CLOB / TEXT，BLOB等特殊类型。

Answer 2

我终于为我的项目设置了我的hadoop集群。我使用hadoop 2.6.3与hive 1.2.1和sqoop 1.4.6。 事实证明，使用Sqoop将TEXT数据类型从MySQL导入Hive没有问题。你甚至可以提供直接的＆＃39;使用mysqldump工具进行更快传输的参数。在我的项目中，我必须导入多个表，每个表包含2个MEDIUMTEXT列。这些表每个只有大约2 GB，所以不是很大。

我希望这可以帮助那些和我一样的人。