如何在运行sqoop命令时更改在HDFS上创建的“ .temp”目录

时间:2019-10-31 13:31:43

标签: sqoop

在使用sqoop导入数据时,在目标目录中创建了“ .temp”目录。 我想更改正在创建.temp / job_1569164528775_11264 / mr / *目录的目录位置。

--temporary-root <> option is not working
-D hadoop.tmp.dir <> option is not working
-D yarn.app.mapreduce.am.staging-dir <> 

仅更改“ .staging”目录,而不更改“ .temp”目录

命令:

sqoop import -D yarn.app.mapreduce.am.staging-dir=/user/test/ --driver "com.microsoft.sqlserver.jdbc.SQLServerDriver" --connect "jdbc:sqlserver://ip:port;database=database;" --connection-manager "org.apache.sqoop.manager.SQLServerManager"  --username <username> -password <password> --table  'tablename'  --as-parquetfile  --delete-target-dir --target-dir /user/database/test/ --m 1 

现在结果:

hadoop fs -ls -R /user/database/test/

/user/database/test/.temp
/user/database/test/.temp/job_1569164528775_11264/mr/.....*

预期结果:

hadoop fs -ls -R /user/test/

/user/test/.temp/job_1569164528775_11264/mr/.....*

0 个答案:

没有答案