我尝试使用flink-OrcTableSource。
在我的代码中,我从hdfs orc-file读取并在本地filesytem中写入结果。 当我从Idea运行此代码时 - 效果很好。 当我在集群中运行代码时 - 我看到了跟踪:
Caused by: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.LocalFileSystem not a subtype
at java.util.ServiceLoader.fail(ServiceLoader.java:239)
at java.util.ServiceLoader.access$300(ServiceLoader.java:185)
at java.util.ServiceLoader$LazyIterator.nextService(ServiceLoader.java:376)
at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:404)
at java.util.ServiceLoader$1.next(ServiceLoader.java:480)
at org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:2565)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2576)
at org.apache.flink.runtime.fs.hdfs.HadoopFsFactory.create(HadoopFsFactory.java:99)
我认为这是因为群集配置错误,但我不知道如何修复它。
我的环境:
从hadoop 2.6.0读取(由cloudera提供)
在我的笔记本电脑上flink cluster 1.4.0(本地)。
java 8(1.8.0_151)
我尝试在flink-cluster上运行我的代码,并收到相同的错误。
Flink-cluster位于hdfs-cluster的相同位置。