有没有办法使用架构将avro消息从kafka转换为spark到dataframe?用户记录的模式文件:
{
"fields": [
{ "name": "firstName", "type": "string" },
{ "name": "lastName", "type": "string" }
],
"name": "user",
"type": "record"
}
来自SqlNetworkWordCount example和Kafka, Spark and Avro - Part 3, Producing and consuming Avro messages的代码段以读取消息。
object Injection {
val parser = new Schema.Parser()
val schema = parser.parse(getClass.getResourceAsStream("/user_schema.json"))
val injection: Injection[GenericRecord, Array[Byte]] = GenericAvroCodecs.toBinary(schema)
}
...
messages.foreachRDD((rdd: RDD[(String, Array[Byte])]) => {
val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)
import sqlContext.implicits._
val df = rdd.map(message => Injection.injection.invert(message._2).get)
.map(record => User(record.get("firstName").toString, records.get("lastName").toString)).toDF()
df.show()
})
case class User(firstName: String, lastName: String)
不知何故,我找不到另一种方法,而不是使用case类将AVRO消息转换为DataFrame。是否有可能使用架构?我正在使用Spark 1.6.2
和Kafka 0.10
。
完整的代码,如果您有兴趣。
import com.twitter.bijection.Injection
import com.twitter.bijection.avro.GenericAvroCodecs
import kafka.serializer.{DefaultDecoder, StringDecoder}
import org.apache.avro.Schema
import org.apache.avro.generic.GenericRecord
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SQLContext
import org.apache.spark.streaming.kafka._
import org.apache.spark.streaming.{Seconds, StreamingContext, Time}
import org.apache.spark.{SparkConf, SparkContext}
object ReadMessagesFromKafka {
object Injection {
val parser = new Schema.Parser()
val schema = parser.parse(getClass.getResourceAsStream("/user_schema.json"))
val injection: Injection[GenericRecord, Array[Byte]] = GenericAvroCodecs.toBinary(schema)
}
def main(args: Array[String]) {
val brokers = "127.0.0.1:9092"
val topics = "test"
// Create context with 2 second batch interval
val sparkConf = new SparkConf().setAppName("ReadMessagesFromKafka").setMaster("local[*]")
val ssc = new StreamingContext(sparkConf, Seconds(2))
// Create direct kafka stream with brokers and topics
val topicsSet = topics.split(",").toSet
val kafkaParams = Map[String, String]("metadata.broker.list" -> brokers)
val messages = KafkaUtils.createDirectStream[String, Array[Byte], StringDecoder, DefaultDecoder](
ssc, kafkaParams, topicsSet)
messages.foreachRDD((rdd: RDD[(String, Array[Byte])]) => {
val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)
import sqlContext.implicits._
val df = rdd.map(message => Injection.injection.invert(message._2).get)
.map(record => User(record.get("firstName").toString, records.get("lastName").toString)).toDF()
df.show()
})
// Start the computation
ssc.start()
ssc.awaitTermination()
}
}
/** Case class for converting RDD to DataFrame */
case class User(firstName: String, lastName: String)
/** Lazily instantiated singleton instance of SQLContext */
object SQLContextSingleton {
@transient private var instance: SQLContext = _
def getInstance(sparkContext: SparkContext): SQLContext = {
if (instance == null) {
instance = new SQLContext(sparkContext)
}
instance
}
}
答案 0 :(得分:4)
所以而不是
val df = rdd.map(message => Injection.injection.invert(message._2).get)
.map(record => User(record.get("firstName").toString,records.get("lastName").toString)).toDF()
你可以试试这个
val df = spark.read.avro(message._2.get)
答案 1 :(得分:3)
一般来说,您应该将Avro架构转换为spark StructType,并将RDD中的对象转换为Row [Any],然后使用:
spark.createDataFrame(<RDD[obj] mapped to RDD[Row}>,<schema as StructType>
为了转换Avro架构,我使用了spark-avro,如下所示:
SchemaConverters.toSqlType(avroSchema).dataType.asInstanceOf[StructType]
RDD的转换更棘手..如果您的架构很简单,您可能只需要做一个简单的地图......就像这样:
rdd.map(obj=>{
val seq = (obj.getName(),obj.getAge()
Row.fromSeq(seq))
})
在此示例中,对象有2个字段名称和年龄。
重要的是要确保Row中的元素与之前StructType中字段的顺序和类型相匹配。
在我的特定情况下,我有一个更复杂的对象,我想要一般地处理以支持将来的架构更改,所以我的代码要复杂得多。
OP建议的方法也应该适用于某些案例,但很难暗示复杂的对象(不是原始对象或案例类)另一个提示是,如果你在一个类中有一个类,你应该将该类转换为一个Row,以便包装类转换为类似的东西:
Row(Any,Any,Any,Row,...)
你也可以看一下我前面提到的关于如何将对象转换为行的spark-avro项目..我自己使用了一些逻辑
如果有人在阅读此内容时需要进一步的帮助,请在评论中提问我,我会尽力帮助
类似的问题也解决了here。
答案 2 :(得分:2)
我处理过类似的问题,但是在Java中。所以不确定Scala,但看一下库com.databricks.spark.avro。
答案 3 :(得分:1)
对于有兴趣以可以处理架构更改而无需停止和重新部署spark应用程序的方式处理此问题的任何人(假设您的应用程序逻辑可以处理此问题),请参阅此question/answer。