Question

我在Spark中有一个看起来像

的Dataframe

eventDF

   Sno|UserID|TypeExp
    1|JAS123|MOVIE
    2|ASP123|GAMES
    3|JAS123|CLOTHING
    4|DPS123|MOVIE
    5|DPS123|CLOTHING
    6|ASP123|MEDICAL
    7|JAS123|OTH
    8|POQ133|MEDICAL
    .......
    10000|DPS123|OTH

我需要以Avro格式将其写入Kafka主题目前我可以使用以下代码在Kafka中编写JSON

val kafkaUserDF: DataFrame = eventDF.select(to_json(struct(eventDF.columns.map(column):_*)).alias("value"))
  kafkaUserDF.selectExpr("CAST(value AS STRING)").write.format("kafka")
    .option("kafka.bootstrap.servers", "Host:port")
    .option("topic", "eventdf")
    .save()

现在我想以Avro格式将其写入Kafka主题

Answer 1

Spark＆gt; = 2.4 ：

您可以使用to_avro库中的spark-avro功能。

import org.apache.spark.sql.avro._

eventDF.select(
  to_avro(struct(eventDF.columns.map(column):_*)).alias("value")
)

Spark＆lt; 2.4

你必须以同样的方式这样做：

创建一个函数，将序列化的Avro记录写入ByteArrayOutputStream并返回结果。一个天真的实现（这只支持扁平对象）可能类似于（Kafka Avro Scala Example 从Sushil Kumar Singh采用）

import org.apache.spark.sql.Row def encode(schema: org.apache.avro.Schema)(row: Row): Array[Byte] = { val gr: GenericRecord = new GenericData.Record(schema) row.schema.fieldNames.foreach(name => gr.put(name, row.getAs(name))) val writer = new SpecificDatumWriter[GenericRecord](schema) val out = new ByteArrayOutputStream() val encoder: BinaryEncoder = EncoderFactory.get().binaryEncoder(out, null) writer.write(gr, encoder) encoder.flush() out.close() out.toByteArray() }

将其转换为udf：

import org.apache.spark.sql.functions.udf val schema: org.apache.avro.Schema val encodeUDF = udf(encode(schema) _)

将其用作to_json
的替代品
eventDF.select( encodeUDF(struct(eventDF.columns.map(column):_*)).alias("value") )

Spark Dataframe以avro格式写入kafka主题？

1 个答案: