我是Apache Spark和Hadoop的新手。我有问题让mongo-hadoop连接器工作。
除了安装jdk-7,Apache Maven,Scala和Apache Spark之外,我还没有做任何其他事情
这是我的.bashrc
中的内容JAVA_HOME='/usr/java/jdk1.7.0_75'
export PATH=$PATH:/usr/local/apache-maven/apache-maven-3.2.5/bin/
MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
export PATH=$PATH:/usr/local/spark/sbin/
export SCALA_HOME='/usr/share/java/scala'
我使用此命令安装Apache Spark。 Spark shell工作,我能够使用SparkContext
运行基本示例mvn -Pyarn -Phadoop-2.4 -Phive -Phive-thriftserver -Dhadoop.version=2.4.0 -DskipTests clean package
这个用于安装Mongo-Hadoop连接器的命令(在我的主目录上)我也非常关注https://github.com/crcsmnky/mongodb-spark-demo
mvn install:install-file -Dfile=core/build/libs/mongo-hadoop-core-1.3.3-SNAPSHOT.jar -DgroupId=com.mongodb -DartifactId=hadoop -Dversion=1.2.1-SNAPSHOT -Dpackaging=jar
现在每次尝试启动火花壳时都会出现此错误
Successfully started service 'HTTP file server' on port 36427.
java.lang.NoClassDefFoundError: javax/servlet/FilterRegistration
并且没有sparkContext实例。我想知道如何解决这个问题,如果我可以像这个例子那样运行代码https://github.com/plaa/mongo-spark/blob/master/src/main/scala/ScalaWordCount.scala 从火花壳或者我必须用graddle构建它,有些火花怎么称呼它?