有没有办法将数据从redshift加载到HDFS?

时间:2020-08-08 09:16:51

标签: hadoop amazon-s3 hdfs amazon-redshift

在加载到redshift时,我使用了sqoop dfs将数据从HDFS加载到S3,然后使用复制命令将数据加载到redshift。

##
sqoop import -Dfs.s3.awsAccessKeyId= +awsAccessKeyId+ -Dfs.s3.awsSecretAccessKey= +awsSecretAccessKey+ -Dfs.s3.endpoint= +endpoint+ --connect  + jdbc_url +  --username= + user_id + --password= + decrypt_pwd +  --target-dir  + s3_path +

将数据从redshift恢复到HDFS的方式是什么?

1 个答案:

答案 0 :(得分:0)

  1. 将数据从Redshift卸载到s3。
  2. 使用sqoop / distcp将数据从s3复制到hdfs。