Question

在纱线客户端模式下使用Kafka 0.10运行Spark Streaming作业时，我遇到了一些类路径问题：

java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka010.KafkaRDDPartition

我已经阅读了（解释得非常好）的问题Add Jars to a Spark Job和Spark Kafka Streaming issues，但我仍然坚持......

我的项目是使用Maven管理的Java Spring Boot，其中包含Spark内容的scala部分。使用Maven Shade插件创建一个超级jar，并且包含缺少的类的spark-streaming-kafka-0.10_2.11依赖项在里面。

在本地模式下执行spark应用程序按预期工作。然而，在纱线客户端模式下执行它，缺少KafkaRDDPartition，我想从执行程序类路径。

我尝试将extraClassPath属性添加到我的SparkConf但是它没有改变任何东西（不要因为硬编码路径而打我，它只是一个测试）

val conf: SparkConf = new SparkConf()
  conf.set("spark.streaming.concurrentJobs", "2")
  conf.set("spark.executor.extraClassPath",sparkHome + "/kafka-0.10")
  conf.setAppName(classOf[KafkaSubscriber].getSimpleName)
  conf.setMaster(sparkMaster)
  conf.setSparkHome(sparkHome)

在创建SparkStreamingContext之前将jar添加到Spark Context并不会改变任何内容

val folder: File = new File(sparkHome + "/kafka-0.10");
  if (folder.exists && folder.isDirectory) {
    for (f <- folder.listFiles.filter(_.isFile).toSeq) {
      spark.sparkContext.addJar(f.getAbsolutePath);
    }
  }

我使用Cloudera平台，在整个群集中部署并激活Spark2 parcel，并且Spark2服务默认配置为使用Kafka 0.10。

另一个重要的事情，因为它是一个Spring Boot应用程序，我没有使用spark-submit执行我的spark应用程序，而是执行此

java -Dloader.path=file:///etc/hadoop/conf,myApp.jar -jar myApp.jar

我错过了什么？

Spark代码就像这样

class KafkaSubscriber(sparkMaster: String, duration: Duration, topicSession: String, brokers: String) {

  val sparkHome: String = "/opt/cloudera/parcels/SPARK2/lib/spark"

  // Create Spark Conf
  val conf: SparkConf = new SparkConf()
  conf.set("spark.streaming.concurrentJobs", "2")
  conf.set("spark.executor.extraClassPath",sparkHome + "/kafka-0.10")
  conf.setAppName(classOf[KafkaSubscriber].getSimpleName)
  conf.setMaster(sparkMaster)
  conf.setSparkHome(sparkHome)

  // Create Spark Session
  // **********
  val spark: SparkSession = SparkSession.builder()
    .appName(classOf[KafkaSubscriber].getSimpleName)
    .master(sparkMaster)
    .config(conf)
    .getOrCreate()

  // Set the Kafka dependencies
  val folder: File = new File(sparkHome + "/kafka-0.10");
  if (folder.exists && folder.isDirectory) {
    for (f <- folder.listFiles.filter(_.isFile).toSeq) {
      spark.sparkContext.addJar(f.getAbsolutePath);
    }
  }

  // Create Spark Streaming Context
  // **********
  val ssc: StreamingContext = StreamingContext.getActiveOrCreate(() => new StreamingContext(spark.sparkContext, duration))

  def subscribe {

    // Some code here ...

    // Subscribe to Kafka
    // **********
    val topicSetSession: Array[String] = topicSession.split(",")
    val kafkaParams = Map[String, Object](
      "bootstrap.servers" -> brokers,
      "key.deserializer" -> classOf[StringDeserializer],
      "value.deserializer" -> classOf[StringDeserializer],
      "group.id" -> "KafkaSubscriber",
      "auto.offset.reset" -> "latest",
      "enable.auto.commit" -> (false: java.lang.Boolean))

    // Get Session Stream
    val rawSessionStream = KafkaUtils.createDirectStream[String, String](ssc, PreferConsistent, Subscribe[String, String](topicSetSession, kafkaParams))

    // Some code here ...

  }

  /**
   * Start the Spark ETL
   */
  def startEtl {
    // Start the Spark Streaming batch
    ssc.start()
    ssc.awaitTermination()
  }

  /**
   * Close the spark session
   */
  def close {
    ssc.stop(true)
    spark.close
  }

Java部分调用Spark代码

@Component
@Scope("singleton")
public class KafkaStreaming implements InitializingBean {

    @Autowired
    private KafkaSubscriber kafkaSubscriber;

    @Override
    public void afterPropertiesSet() throws Exception {

        // Get and store the HbbTV Config
        kafkaSubscriber.subscribe();

        // Start Spark
        kafkaSubscriber.startEtl();
    }
}

感谢您的帮助！

Answer 1

嗯，我的问题是针对Kafka Integration的Cloudera Manager配置错误。默认情况下，选择的是Kafka 0.9，包括将kafka 0.9罐子添加到classpath中，而不是kafka 0.10。

在纱线上使用Spark2 Streaming的ClassPath问题

1 个答案: