在创建具有s3位置的Hive外部表时面临问题

Question

我正在尝试使用s3位置创建外部表。

create external table trial
(
  Country string,
  Date1 string,
  Brand string)
  location 's3n://poc/xyzpoc.csv' 
 )

我已经在自定义hdfs-site和Custom hive-site中提到了Access和Secret Access密钥，但我仍然遇到访问密钥错误。

我设置的属性

fs.s3a.access.key,
fs.s3a.secret.key

错误：

  

编译语句时出错：FAILED：SemanticException java.lang.IllegalArgumentException：必须将AWS Access Key ID和Secret Access Key指定为s3n URL的用户名或密码，或者设置fs.s3n.awsAccessKeyId或者分别是fs.s3n.awsSecretAccessKey属性。 [ERROR_STATUS]

Answer 1

使用带有s3a的网址，例如“s3a：//poc/xyzpoc.csv”。它是后继S3客户端，配置略有不同（更好，因为它支持各种其他机制）