java.util.ServiceConfigurationError:org.apache.hadoop.fs.FileSystem:Provider org.apache.hadoop.fs.LocalFileSystem not a subtype

时间:2017-12-19 15:51:04

标签: hadoop apache-flink

My repo with example code

我尝试使用flink-OrcTableSource。

在我的代码中,我从hdfs orc-file读取并在本地filesytem中写入结果。 当我从Idea运行此代码时 - 效果很好。 当我在集群中运行代码时 - 我看到了跟踪:

Caused by: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.LocalFileSystem not a subtype
at java.util.ServiceLoader.fail(ServiceLoader.java:239)
at java.util.ServiceLoader.access$300(ServiceLoader.java:185)
at java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:376)
at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:404)
at java.util.ServiceLoader$1.next(ServiceLoader.java:480)
at org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:2565)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2576)
at org.apache.flink.runtime.fs.hdfs.HadoopFsFactory.create(HadoopFsFactory.java:99)

我认为这是因为群集配置错误,但我不知道如何修复它。

我的环境:
从hadoop 2.6.0读取(由cloudera提供)
在我的笔记本电脑上flink cluster 1.4.0(本地)。
java 8(1.8.0_151)
我尝试在flink-cluster上运行我的代码,并收到相同的错误。 Flink-cluster位于hdfs-cluster的相同位置。

0 个答案:

没有答案