我在Sqoop --append命令上有一个问题,因为我们知道append命令会在现有表或记录中添加一个值但是在hadoop或hdfs更新选项中是禁止的,它是如何工作的?
答案 0 :(得分:0)
从文档中
默认情况下,导入会转到新的目标位置。如果目标目录已存在于HDFS中,Sqoop将拒绝导入并覆盖该目录的内容。如果使用--append参数,Sqoop会将数据导入临时目录,然后以不与该目录中现有文件名冲突的方式将文件重命名为普通目标目录。
答案 1 :(得分:0)
在hadoop中我们还有一个使用“-appendtoFile”命令更新文件的规定,它会将数据附加到现有数据,但文件名将是diff。