我想将自定义格式解析为Java中的Dataframe。我在Scala中找到了一些例子,但我是Spark编程的新手,并且对 Scala 知之甚少。我正在寻找的是在DataFrameReader的格式方法中添加自定义格式。
示例代码:
SparkSession spark = SparkSession.builder()
.appName("myApp")
.master("local")
.getOrCreate();
Dataset<Row> df = spark.read()
.format("*com.packagename.format*") // custom format file/class
.option("data", "data") // hint to find data from the custom format
//many other options
.load(*filePath*); //file Path of the file.
如何将 sparkcontext 绑定到我自己的包含格式定义的自定义类。还覆盖了load方法。 在java中有什么可能的方法吗?
使用java8和spark 2.1.0