Hadoop - 获取数据的最有效方式

时间:2014-04-15 23:21:57

标签: hadoop hive hiveql

我在hadoop中有很多数据,我需要将其复制到msql数据库中。

在hive中选择我需要的列(几乎所有列)并使用INSERT OVERWRITE编写结果会更高效,还是使用copyToLocal shell命令复制会更好文件并手动转换数据?

1 个答案:

答案 0 :(得分:2)

如果您的数据在hadoop中,您可以使用Sqoop移动它的MYSQL DB。直接使用SQOOP将是有效的,然后添加另一层额外的HIVE。获取MYSQL连接器,您可以尝试下面的内容,让我知道更多需要帮助。

bin / sqoop export --connect jdbc:mysql:/// --table -username -P --export-dir -m1