使用sqoop将数据复制到s3时出错

时间:2018-07-21 05:36:40

标签: amazon-s3 sqoop

我正在使用sqoop使用以下命令将Postgres表复制到s3

sqoop import -m 1 --connect jdbc:postgresql://xx.us-west-2.rds.amazonaws.com:5432/prod_db --username user_ro --password user_pwd --table content --target-dir s3://test/user/sqoop_test --as-avrodatafile

这是第一次工作。在下一次执行之前,我使用以下命令删除了目标目录:

aws s3 rm s3://test/user/sqoop_test

下一次执行sqoop会导致以下错误:

18/07/21 05:31:53 ERROR tool.ImportTool: Encountered IOException running import job: com.amazon.ws.emr.hadoop.fs.consistency.exception.ConsistencyException: Directory 'user/sqoop_test' present in the metadata but not s3
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:453)
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:380)

我也尝试过执行“ emrfs删除...”,然后进行“ emrfs导入...”和“ emrfs同步..”,但这无助于解决问题。任何帮助将不胜感激。

0 个答案:

没有答案