如何读取CSV文件，然后在Spark Scala中将其另存为JSON？

Question

我正在尝试读取一个大约有700万行和22列的CSV文件。

在读取Spark Dataframe中的CSV后如何将其另存为JSON文件？

Answer 1

读取CSV文件作为数据框

val spark = SparkSession.builder().master("local[2]").appname("test").getOrCreate
val df = spark.read.csv("path to csv")

现在您可以对df进行一些操作并另存为JSON

df.write.json("output path")

希望这会有所帮助！