sqoop会删除所有现有的数据文件吗?

时间:2019-03-30 21:36:39

标签: hadoop hive sqoop rdbms

我使用以下命令通过 sqoop 将数据从RDBMS导入到HDFS: sqoop import --connect ... --table ... --hive-import --hive-table --m 20等。 因此,此命令将在hdfs的目录下创建20个文件。

如果以后我决定导入另一数据并覆盖现有数据,我将使用以下命令:sqoop import --connect ... --table ... --hive-import --hive-overwrite --hive-table --m 10

sqoop 的行为是什么?

  1. Sqoop将转到目录,并删除所有之前的20 文件并创建 新增了10个。
  2. Sqool将删除20个文件中的所有数据,然后在10处写入新数据 现有20个随机文件。

1 个答案:

答案 0 :(得分:0)

Option 1

Sqoop只会 overwrite the existing 20 files with new 10 files

有关更多信息,请参见thisthis链接。