Question

所以我试着运行这个例子https://github.com/plaa/mongo-spark/blob/master/src/main/scala/ScalaWordCount.scala

但我一直收到这个错误

 Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/MongoInputFormat
at ScalaWordCount$.main(ScalaWordCount.scala:27)

我不确定为什么很难找到这门课。我用maven建造了这个项目，它看起来很好。

      /usr/local/spark/bin/spark-submit \
--class ScalaWordCount \
--master local target/scalawordcount-0.0.1-SNAPSHOT.jar  \
    --jars /home/daniel/.m2/repository/org/mongodb/mongo-java-driver/2.12.3 \/mongo-java-driver-2.12.3.jar, \
    /home/daniel/mongo-hadoop/core/build/libs/mongo-hadoop-core-1.3.3-SNAPSHOT.jar

这是我用来运行它的命令。我在我的主目录中工作。提前谢谢。

我使用本教程https://github.com/crcsmnky/mongodb-spark-demo使用apache spark设置mongodb

ps我已经在网上阅读了一些关于类路径中存在错误的内容，这些错误将在新版本中修复...

Answer 1

我只需将jars路径添加到spark-env.sh的{{1}}。我知道这不是一个好的解决方案，但它确实有效。

找不到Apache Spark Mongo-Hadoop Connector类

1 个答案: