Question

我正在spark2.3.0上运行我的应用程序，其依赖项为hadoop-* - 2.8.0，aws-java-sdk - 1.10.6，joda-time - 2.9.4和jackson-core-2.9.4，并且遇到以下错误。相同的应用程序运行正常AWS_JAVA_SDK=1.7.4 HADOOP_AWS_VERSION=2.7.3.。可以让我知道要使用的hadoop / spark / aws的正确版本吗？我对spark2.3.0有一定的依赖性，因此也不能降级到spark2.2。我通读了多个帖子，这显然看起来像是版本问题，并且我通过引用hadoop maven依赖项尝试了多个版本，但仍然出现相同的错误。

    at org.apache.hadoop.fs.s3a.S3AInstrumentation.streamCounter(S3AInstrumentation.java:194)
    at org.apache.hadoop.fs.s3a.S3AInstrumentation.streamCounter(S3AInstrumentation.java:216)
    at org.apache.hadoop.fs.s3a.S3AInstrumentation.&lt;init&gt;(S3AInstrumentation.java:139)
    at org.apache.hadoop.fs.s3a.S3AFileSystem.initialize(S3AFileSystem.java:174)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2669)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
    at org.apache.hadoop.fs.FileSystem$Cache.getUnique(FileSystem.java:2691)
    at org.apache.hadoop.fs.FileSystem.newInstance(FileSystem.java:420)
    at ```

s3a读取文件失败，并出现org.apache.hadoop.fs.s3a.S3AInstrumentation

0 个答案: