如何使用结构化流媒体从Kafka读取JSON格式的记录?

时间:2017-04-08 17:05:33

标签: scala apache-spark apache-kafka apache-spark-sql spark-structured-streaming

我正在尝试使用基于DataFrame / Dataset API的Spark-Streaming来加载来自Kafka的数据流。{/ p>

我用:

  • Spark 2.10
  • Kafka 0.10
  • 火花-SQL卡夫卡-0-10

Spark Kafka DataSource定义了底层架构:

|key|value|topic|partition|offset|timestamp|timestampType|

我的数据采用json格式,并存储在列中。我正在寻找一种方法如何从值列中提取底层模式,并将接收到的数据帧更新为存储在 value 中的列?我尝试了下面的方法,但它不起作用:

 val columns = Array("column1", "column2") // column names
 val rawKafkaDF = sparkSession.sqlContext.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers","localhost:9092")
  .option("subscribe",topic)
  .load()
  val columnsToSelect = columns.map( x => new Column("value." + x))
  val kafkaDF = rawKafkaDF.select(columnsToSelect:_*)

  // some analytics using stream dataframe kafkaDF

  val query = kafkaDF.writeStream.format("console").start()
  query.awaitTermination()

这里我得到了异常org.apache.spark.sql.AnalysisException: Can't extract value from value#337;,因为在创建流时,内部的值是未知的......

你有什么建议吗?

1 个答案:

答案 0 :(得分:9)

从Spark角度来看,value只是一个字节序列。它不了解序列化格式或内容。为了能够提取字段,您必须先解析它。

如果数据被序列化为JSON字符串,则有两个选项。您可以cast valueStringType并使用from_json并提供架构:

import org.apache.spark.sql.types._
import org.apache.spark.sql.functions.from_json

val schema: StructType = StructType(Seq(
  StructField("column1", ???),
  StructField("column2", ???)
))

rawKafkaDF.select(from_json($"value".cast(StringType), schema))

castStringType,使用get_json_object按路径提取字段:

import org.apache.spark.sql.functions.get_json_object

val columns: Seq[String] = ???

val exprs = columns.map(c => get_json_object($"value", s"$$.$c"))

rawKafkaDF.select(exprs: _*)

cast稍后到期望的类型。