Sqoop语法在导入所有表时覆盖hdfs

时间:2017-05-03 18:06:54

标签: hive hdfs sqoop

在我的hdfs中已存在目录“mydatabase”,我正在尝试使用sqoop更新mysql中hdfs的数据

但是,在import-all-tables命令中,hdfs目录中没有覆盖选项,仅在hive中

我正在尝试执行以下命令:

sqoop import-all-tables 
--connect jdbc:mysql://10.20.20.43/mydatabase 
--username blizzard 
--password blizzard 
--warehouse-dir /user/hdfs/mydatabase -m 1
--hive-database mydatabase
--hive-import 
--hive-overwrite
--null-string '\\N' 
--null-non-string '\\N' 
--verbose

但我有一个错误:

17/05/03 19:48:13 ERROR tool.ImportAllTablesTool: 
Encountered IOException running import job:
org.apache.hadoop.mapred.FileAlreadyExistsException: 
Output directory hdfs://10.20.20.43:8020/user/hdfs/mydatabase/table1
already exists

我想一直导入所有数据,因为我不知道哪一个可以被更改。

这样做的最佳方式是什么?

谢谢!

编辑:

根据文档https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

--delete-target-dir命令仅适用于import,而不适用于import-all-tables

0 个答案:

没有答案