Question

我是Scala的新手。任何人都可以建议我在Linux环境下使用Scala运行Apache Spark所需的jar文件。下面的代码是一段原始代码。我得到像java.lang.NoSuchMethodError：org.jboss.netty.channel.socket.nio.NioWorkerPool这样的例外。（Ljava / util / concurrent / Executor; I）V

java -cp“。：/ opt / cloudera / parcels / CDH-5.7.1-1.cdh5.7.1.p1876.1944 / jars / ：./ ”

TestAll.scala

import org.apache.spark.SparkContext._
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLContext
import java.io._
import java.sql.{Connection,DriverManager}
import scala.collection._
import scala.collection.mutable.MutableList
object TestAll {
    def main(args: Array[String]) {
    val conf =new SparkConf().setAppName("Testing App").setMaster("local")
    val sc=new SparkContext(conf)
      println("Hello, world!")
    }
  }

Answer 1

您需要从here下载Spark。选择“使用Hadoop预构建”选项。然后，您可以按照Quick Start的说明进行操作。这将引导您完成Hello World。我不确定您使用的是哪个IDE，但Scala最友好的是Intellij IDEA

Apache Spark和Scala需要jar

1 个答案: