Question

我正在尝试使用mongoDB hadoop连接器运行基本的Spark示例。我正在使用Hadoop版本 2.6.0 。我正在使用mongo-hadoop的 1.3.1 版本。我不确定在哪个地方放置这个Hadoop版本的罐子。以下是我尝试过的地点：

$ HADOOP_HOME /的libexec /共享/的hadoop / MapReduce的
$ HADOOP_HOME /的libexec /共享/ hadoop的/映射精简/ lib中
$ HADOOP_HOME /的libexec /共享/ hadoop的/ HDFS
$ HADOOP_HOME /的libexec /共享/ hadoop的/ HDFS / lib中

以下是我用于将集合加载到Hadoop的代码片段：

Configuration bsonConfig = new Configuration();
bsonConfig.set("mongo.job.input.format", "MongoInputFormat.class");
JavaPairRDD<Object,BSONObject> zipData = sc.newAPIHadoopFile("mongodb://127.0.0.1:27017/zipsdb.zips", MongoInputFormat.class, Object.class, BSONObject.class, bsonConfig);

无论放在哪里，我都会收到以下错误：

Exception in thread "main" java.io.IOException: No FileSystem for scheme: mongodb
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2584)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:91)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2630)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2612)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:370)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.addInputPath(FileInputFormat.java:505)
at org.apache.spark.SparkContext.newAPIHadoopFile(SparkContext.scala:774)
at org.apache.spark.api.java.JavaSparkContext.newAPIHadoopFile(JavaSparkContext.scala:471)

我在hadoop日志中没有看到任何其他错误。我怀疑我的配置中缺少某些内容，或者Hadoop 2.6.0与此连接器不兼容。非常感谢任何帮助。

MongoDB Hadoop错误：没有用于scheme的FileSystem：mongodb

0 个答案: