Spark构建从avro生成scala

Question

Spark构建模块spark-streaming-flume-skink使用一些avro类，例如SparkFlumeProtocol，它们不存在但需要生成。

使用

定义了一个project / plugins.sbt

    addSbtPlugin("com.cavorite" % "sbt-avro" % "0.3.2")

并使用

sbt assembly

不会生成这些文件。有谁知道如何做到这一点？没有这些scala / java文件，IntelliJ构建失败：

Error:(44, 66) not found: type SparkFlumeProtocol val transactionTimeout: Int, val backOffInterval: Int) extends SparkFlumeProtocol with Logging {

Answer 1

原来你可以使用sbt程序集执行此操作，但它会将文件放在默认位置。你也可以做

mvn generate-sources

在文件夹externals/flume-sink

中