在使用sqoop导入数据时,在目标目录中创建了“ .temp”目录。 我想更改正在创建.temp / job_1569164528775_11264 / mr / *目录的目录位置。
--temporary-root <> option is not working
-D hadoop.tmp.dir <> option is not working
-D yarn.app.mapreduce.am.staging-dir <>
仅更改“ .staging”目录,而不更改“ .temp”目录
命令:
sqoop import -D yarn.app.mapreduce.am.staging-dir=/user/test/ --driver "com.microsoft.sqlserver.jdbc.SQLServerDriver" --connect "jdbc:sqlserver://ip:port;database=database;" --connection-manager "org.apache.sqoop.manager.SQLServerManager" --username <username> -password <password> --table 'tablename' --as-parquetfile --delete-target-dir --target-dir /user/database/test/ --m 1
现在结果:
hadoop fs -ls -R /user/database/test/
/user/database/test/.temp
/user/database/test/.temp/job_1569164528775_11264/mr/.....*
预期结果:
hadoop fs -ls -R /user/test/
/user/test/.temp/job_1569164528775_11264/mr/.....*