我需要做的是将数据集保存到Hadoop,我的代码:
val df = spark.read.textFile("hdfs://path/to/file")
.flatMap(i => i.split("\\s+"))
.groupBy("value").count.toDF("word","count")
.write.json("hdfs://path/to/myjson.json")
但是当我转到Hadoop时,myjson.json
不是json文件而是文件夹。当我再次使用代码spark.read.json("hdfs://path/to/myjson.json").show
读取此文件夹时,这正是我想要的。
我的问题是,如何将数据集保存到文件而不是文件夹?