Flink S3 Hadoop 2.8.0

时间:2017-03-27 14:45:44

标签: apache-flink flink-streaming flink-cep

我们试图将S3用于Flink后端状态和检查点,并在法兰克福使用了一个存储桶(V4身份验证)它给出了我在这里发布的错误(Cannot access S3 bucket with Hadoop),这是由于hadoop。但是hadoop 2.8.0可以使用,但还没有Flink支持。

猜猜我的问题是Flink什么时候会提供基于hadoop 2.8.0的版本?

2 个答案:

答案 0 :(得分:1)

一旦Hadoop版本发布,Flink可能会提供Hadoop 2.8.0版本。

与此同时,您可以使用自定义Hadoop版本自行构建Flink:

mvn clean install -DskipTests -Dhadoop.version=2.8.0

答案 1 :(得分:1)

Hadoop 2.7.x适用于Frankfurt和v4 API端点。如果您遇到问题,请检查您的joda-time版本,因为旧的joda-time JAR和Java版本的奇怪组合会导致AWS获取格式错误的时间戳,然后它会在无处不在的“错误身份验证”消息中拒绝。