Question

在Azure HDInsights群集上设置flink时会出现异常。

./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m

投掷：

org.apache.flink.client.deployment.ClusterDeploymentException: 
Couldn't deploy Yarn session cluster

Caused by: 

Failing this attempt.Diagnostics: 
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp 
changed on src filesystem (expected 1540341676000, was 1540341677000

java.io.IOException: 
    at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)

这似乎是因为wasb blob存储不能保持复制文件的原始时间戳，从而破坏了wasb之上的HDFS API抽象。有任何解决方法吗？

我只能找到的其他线程是Oozie/yarn: resource changed on src filesystem。

Answer 1

我们与MS Azure支持一起工作，他们确认它仅与Flink 1.4.x兼容，而不适用于1.5.x或1.6.x。

我们将其降级为1.4.x，并且现在在Azure群集中可以正常工作。

Azure Flink中src文件系统上的资源已更改

1 个答案: