线程“主”中的异常java.lang.NoSuchFieldError：BROTLI

Question

我正在尝试使用下面的eclipse中的代码读取简单的实木复合地板文件，但是它给出了错误：线程“ main”中的异常java.lang.NoSuchFieldError：BROTLI

 val conf: SparkConf = new 
 SparkConf().setMaster("local").setAppName("ParquetTest").set("parquet.compression", "SNAPPY")
 val sc: SparkContext = new SparkContext(conf)
 val sqlContext: SQLContext = new SQLContext(sc)
 val newDataDF = sqlContext.read.parquet("userdata1.parquet")

Answer 1

我有同样的问题。在出现依赖性版本问题的提示之后，我发现parquet-avro已包含在我的pom.xml中。尽管上述示例不需要parquet-avro来运行（它用于其他目的），但它确实破坏了代码。解决方法是将parquet-avro提升到1.11.0。