Question

我遇到类似错误here - 我可以使用spark shell运行GraphX，但是当我尝试使用spark-submit时，我得到了NoSuchMethodError jar文件。这是它抱怨的那条线：

val myGraph: Graph[(String, Long, String), Int] = Graph.apply(userRecords, userConnectionEdges)

这给了我以下错误：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.graphx.
Graph$.apply$default$4()Lorg/apache/spark/storage/StorageLevel;
        at MyProject$.main(MyProject.scala:53)
        at MyProject.main(MyProject.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.
java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAcces
sorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:483)
        at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:292)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

使用sbt程序集构建代码，所以我不会出现问题。

编辑：我创建了一个新的scala项目来从here获取代码并将其构建到一个jar文件中。这是scala文件：

/* GraphTest.scala */

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD

object GraphTest {

 def main(args: Array[String]) {

    // Set up environment
    val conf = new SparkConf()
    val sc = new SparkContext(conf)

    // Set up the vertices
    val vertexArray = Array(
      (1L, ("Alice", 28)),
      (2L, ("Bob", 27)),
      (3L, ("Charlie", 65)),
      (4L, ("David", 42)),
      (5L, ("Ed", 55)),
      (6L, ("Fran", 50))
      )

    // Set up the edges
    val edgeArray = Array(
      Edge(2L, 1L, 7),
      Edge(2L, 4L, 2),
      Edge(3L, 2L, 4),
      Edge(3L, 6L, 3),
      Edge(4L, 1L, 1),
      Edge(5L, 2L, 2),
      Edge(5L, 3L, 8),
      Edge(5L, 6L, 3)
      )

    // Convert arrays to RDDs
    val vertexRDD: RDD[(Long, (String, Int))] = sc.parallelize(vertexArray)
    val edgeRDD: RDD[Edge[Int]] = sc.parallelize(edgeArray)

    // Create graph and print vertex data
    val graph: Graph[(String, Int), Int] = Graph(vertexRDD, edgeRDD)

    graph.vertices.filter { case (id, (name, age)) => age > 30 }.collect.foreach {
        case (id, (name, age)) => println(s"$name is $age")
    } 
 } 
}

以下是构建设置：

import AssemblyKeys._

assemblySettings

name := "graphtest"

version := "1.0"

scalaVersion := "2.10.3"

libraryDependencies += "org.apache.spark" % "spark-graphx_2.10" % "1.2.1" % "provided"

我可以在代码上运行sbt汇编，但是当我运行

时

..\spark\bin\spark-submit --class GraphTest target\scala-2.10\graphtest-assembly-1.0.jar

我得到了NoSuchMethodError。

Answer 1

原来是版本问题 - 我使用的是Databricks培训中的SBT和Spark，这是当前版本的几个版本。这将适用于最新版本的SBT（v0.13.7），Scala（2.10.4）和Spark（1.2.1）。

在我工作之后，我遇到了this Spark / Hadoop / winutils.exe错误。最终我把它全部搞定了:)）

Answer 2

看起来你只是为graphx添加一个依赖，而不是整个Spark;例如libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.1" % "provided"。

Answer 3

看起来你可能正在使用＆＃34; provided＆＃34;依赖关系：＆＃34;要排除某些jar文件，首先考虑使用＆＃34;提供＆＃34;依赖＆＃34 ;.我猜测他们不属于你的程序集，因此在你调用spark-submit时没有部署。

设置Spark GraphX图时获取NoSuchMethodError

3 个答案: