Spark使用架构注册表（avro）读取kafka流的最佳实践？

Question

Spark是否有最佳实践来处理通过模式注册表在Avro中序列化的kafka流？尤其是对于Spark结构化流？

我在https://github.com/ScalaConsultants/spark-kafka-avro/blob/master/src/main/scala/io/scalac/spark/AvroConsumer.scala找到了一个例子。但是我无法加载AvroConverter类。我在mvnrepository.com中找不到名为io.confluent:kafka-avro-serializer的工件。

Answer 1

您需要在build.sbt中添加Confluent仓库：

val repositories = Seq(
  "confluent" at "http://packages.confluent.io/maven/",
  Resolver.sonatypeRepo("public")
)

请参阅：https://github.com/ScalaConsultants/spark-kafka-avro/blob/master/build.sbt