我在hadoop中有很多数据,我需要将其复制到msql数据库中。
在hive中选择我需要的列(几乎所有列)并使用INSERT OVERWRITE
编写结果会更高效,还是使用copyToLocal
shell命令复制会更好文件并手动转换数据?
答案 0 :(得分:2)
如果您的数据在hadoop中,您可以使用Sqoop移动它的MYSQL DB。直接使用SQOOP将是有效的,然后添加另一层额外的HIVE。获取MYSQL连接器,您可以尝试下面的内容,让我知道更多需要帮助。
bin / sqoop export --connect jdbc:mysql:/// --table -username -P --export-dir -m1