Kafka-Confluent s3 connect-连接器无法连接到s3

时间:2019-08-04 11:53:01

标签: java amazon-s3 apache-kafka confluent

我正在尝试构建一个演示应用程序,在该应用程序中,我从公开来源读取了kafka主题,并将此数据写入s3。完全如本链接所示-https://www.confluent.fr/blog/apache-kafka-to-amazon-s3-exactly-once

即使我具有有效的凭据(作为环境变量的一部分和〜/ .aws / credentials文件的一部分),我的s3连接器也无法连接到s3。

我知道凭据很好,因为我可以使用awscli访问存储桶。

尝试了两种配置AWS提供程序的方法(作为connector.properties的一部分)

com.amazonaws.auth.DefaultAWSCredentialsProviderChain 和, com.amazonaws.auth.EnvironmentVariableCredentialsProvider

当使用DefaultAWSCredentialsProviderChain运行时,连接器似乎正在尝试使用环境变量(和〜/ .aws / credentials)中未设置的秘密和访问密钥进行连接。并且,失败并显示错误:

  

org.apache.kafka.connect.errors.ConnectException:正在退出   由于发生不可恢复的异常而导致WorkerSinkTask

     

com.amazonaws.services.s3.model.AmazonS3Exception:AWS访问密钥   您提供的ID在我们的记录中不存在。 (服务:Amazon S3;   状态码:403;错误代码:InvalidAccessKeyId;要求编号:   8FF2B58289B657EA),S3扩展请求ID:   N73Jdmn39Rwp / eet4WWAj0CiRCqq2Cmh / ILf5F7Hxnj / P7djg1 // FU9hb75ImVQWAf9fnGqi51E = \ n \ tat   com.amazonaws.http.AmazonHttpClient $ RequestExecutor.handleErrorResponse(AmazonHttpClient.java:1586)

与EnvironmentVariableCredentialsProvider一起运行时,它无法查看环境变量。并且,连接器因以下错误而失败:

  

“ trace”:“ org.apache.kafka.connect.errors.ConnectException:   com.amazonaws.SdkClientException:无法从以下位置加载AWS凭证   环境变量(AWS_ACCESS_KEY_ID(或AWS_ACCESS_KEY)和   AWS_SECRET_KEY(或AWS_SECRET_ACCESS_KEY))\ n \ tat   io.confluent.connect.s3.S3SinkTask.start(S3SinkTask.java:118)

如何获取s3连接器以查看环境变量?

0 个答案:

没有答案