在读取任何csv时,它总是转换为3个阶段,无论csv文件是小尺寸还是大或只有文件头。每个工作总共有三个工作岗位。 我的应用程序没有任何转换和动作。它只加载csv。
公共类WordCount {
public static void main(String[] args) throws InterruptedException {
SparkSession spark = SparkSession.builder().appName("Java Spark
Application").master("local").getOrCreate();
Dataset<Row> df = spark.read()
.format("com.databricks.spark.csv")
.option("inferschema", "true")
.option("header", "true")
.load("/home/ist/OtherCsv/EmptyCSV.csv");
spark.close();
}}
Spark UI图片:
问题: