在bean类中不能有循环引用，但得到了类class org.apache.avro.Schema

Question

我想将包含Avro对象的javaRDD（例如MyAvroClsass的对象）转换为java spark中的数据框。我低于ERROR

Cannot have circular references in bean class, but got the circular reference of class class org.apache.avro.Schema

代码：

JavaRDD<Row> test; 
Dataset<Row> outputDF = sparksession.createDataFrame(test.rdd(),<MyAvroClsass>.class);

Answer 1

这与以下内容有关： Infinite recursion in createDataFrame for avro types

在spark-avro项目中正在开展工作来解决这个问题，请参阅：https://github.com/databricks/spark-avro/pull/217和 https://github.com/databricks/spark-avro/pull/216

一旦合并，应该有一个函数将Avro对象的RDD转换为DataSet（Rows的DataSet等价于DataFrame），而不会在生成的类中使用getSchema（）函数的循环引用问题