在Spark-JAVA中从CSV写入Avro文件

时间:2019-05-29 08:56:21

标签: apache-spark spark-avro

我正在尝试将CS​​V文件数据写入Avro,下面是我要附加的代码。

public class CsvToAvro {

public static void main(String[] args) {

    SparkSession spark = SparkSession.builder().config("spark.master", "local").getOrCreate();
    System.setProperty("hadoop.home.dir", "C:\\winutils");


            spark.read()
            .option("header", "false")
            .option("delimiter", ",")
            .csv("C:\\Users\\Sai Venkat\\Desktop\\HiveDataTypeData.csv")
            .write()
            .format("com.databricks.spark.avro").save("C:\\Users\\Sai Venkat\\Desktop\\avrodataTypes");



    //.save("C:\\Users\\Sai Venkat\\Desktop\\avrodataTypes.avro");
}

}

  

线程“主”中的异常java.lang.NoSuchMethodError:   org.apache.avro.Schema $ Field。(Ljava / lang / String; Lorg / apache / avro / Schema; Ljava / lang / String; Lorg / codehaus / jackson / JsonNode; Lorg / apache / avro / Schema $ Field $ Order ;)V

0 个答案:

没有答案