Question

我正在尝试使用spark sql使用zeppelin查询来自kafka的数据进行实时趋势分析，但没有成功。

这是我在zeppelin

中运行的简单代码片段

//Load Dependency
%dep 
    z.reset()
    z.addRepo("Spark Packages Repo").url("http://repo1.maven.org/maven2/")
    z.load("org.apache.spark:spark-streaming-kafka-0-8_2.11:2.0.1")
    z.load("org.apache.spark:spark-core_2.11:2.0.1")
    z.load("org.apache.spark:spark-sql_2.11:2.0.1")
    z.load("org.apache.spark:spark-streaming_2.11:2.0.1"

//simple streaming 
%spark
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.kafka.KafkaUtils
import _root_.kafka.serializer.StringDecoder
import org.apache.spark.sql.SparkSession

val conf = new SparkConf()
    .setAppName("clickstream")
    .setMaster("local[*]")
    .set("spark.streaming.stopGracefullyOnShutdown", "true")
    .set("spark.driver.allowMultipleContexts","true")


val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config(conf)
  .getOrCreate()

val ssc = new StreamingContext(conf, Seconds(1))

val topicsSet = Set("timer")
val kafkaParams = Map[String, String]("metadata.broker.list" -> "192.168.25.1:9091,192.168.25.1:9092,192.168.25.1:9093")

val lines = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](
                                   ssc, kafkaParams, topicsSet).map(_._2)

lines.window(Seconds(60)).foreachRDD{ rdd =>
    val clickDF = spark.read.json(rdd) //doesn't have to be json
    clickDF.createOrReplaceTempView("testjson1")
    //olderway
    //clickDF.registerTempTable("testjson2")
    clickDF.show

}

lines.print()
ssc.start()
ssc.awaitTermination()

我可以打印每个kafka消息但是当我运行简单的sql %sql select * from testjson1 // or testjson2时，我收到以下错误

java.util.NoSuchElementException: None.get
at scala.None$.get(Option.scala:347)
at scala.None$.get(Option.scala:345)
at org.apache.spark.storage.BlockInfoManager.releaseAllLocksForTask(BlockInfoManager.scala:343)
at org.apache.spark.storage.BlockManager.releaseAllLocksForTask(BlockManager.scala:646)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:281)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

在this post正在查询流数据（使用twitter示例）。所以我认为应该可以使用kafka流媒体。所以我猜，也许，我做错了或遗漏了一些观点？

欢迎任何想法，建议和建议

Answer 1

错误消息未告知临时视图丢失。错误消息告诉我，类型None没有提供名称为＆＃39; get＆＃39;的元素。

使用spark，在调用动作时执行基于RDD的计算。因此，在创建临时表的过程中，不会执行任何计算。在表上执行查询时，将执行所有计算。如果您的表不存在，您将收到另一条错误消息。

也许可以打印Kafka消息，但是您的异常告诉我，None实例不知道＆＃39; get＆＃39;。因此，我认为您的源JSON数据包含没有数据的项目，这些项目由None表示，因此当spark执行计算时会导致执行。

我建议您通过测试它是否适用于不包含空JSON元素的示例数据来验证您的解决方案是否正常工作。

如何在zeppelin中使用spark sql查询Spark StreamingContext？

1 个答案: