从String Spark Java创建数据集(无RDD)

时间:2018-12-03 13:57:20

标签: java apache-spark dataset

我需要从Dataset创建一个String键是字符串

Header h = new Header();
                    h.setName(Key);
                    SQLContext sqlC = spark.sqlContext();     
                    Dataset<String> ds = sqlC.createDataset(Collections.singletonList(h), Encoders.STRING());
                    ds.show();

我需要将其写入txt文件(有吗?我现在正在使用csv)

ds.write().format("com.databricks.spark.csv").mode("overwrite")
                .save(SomeLocation);