尝试使用Sqoop以Parquet格式将数据导入S3时,如下所示:
bin/sqoop import --connect 'jdbc:[conn_string]' --table [table] --target-dir s3a://bucket-name/ --hive-drop-import-delims --as-parquetfile
...我收到以下错误:
ERROR tool.ImportTool: Imported Failed: Wrong FS: s3a://bucket-name/, expected: hdfs://localhost:9000
导入非镶木地板数据或直接通过HDFS使用s3a没有问题。看起来像this issue,但它应该在很多版本之前修复过。
答案 0 :(得分:0)
如果您使用S3作为目标目录,Sqoop不支持导入到镶木地板文件。
答案 1 :(得分:0)
Sqoop导入镶木地板格式目前不支持s3作为目标目录,可以使用的工作方法是将数据导入hdfs然后使用distcp将hdfs复制到s3