将数据加载到HDFS时会发生一些错误

Question

我有一个Java程序试图将数据加载到HDFS：

    java.util.ServiceConfigurationError:    org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.s3.S3FileSystem not found

当我运行程序时，它给了我一个错误：

{{1}}

看起来像是一些配置问题。谁能给我一些建议？

由于

Answer 1

有人指出org.apache.hadoop.fs.FileSystem包含S3。一个可能的原因是旧的，陈旧的META-INF文件;见Spark bug report。

如果你正在创造一个超级罐，它可能在那里的某个地方。如果您无法找到并消除导致问题的规范，那么解决方法就是包括AWS＆amp; Hadoop罐子里的Spark驱动程序/执行者可以找到它们;见this Stackoverflow question。