同时阅读单个CSV文件转换为spark中的多个阶段

时间:2018-04-03 14:54:07

标签: apache-spark spark-ui

在读取任何csv时,它总是转换为3个阶段,无论csv文件是小尺寸还是大或只有文件头。每个工作总共有三个工作岗位。 我的应用程序没有任何转换和动作。它只加载csv。

公共类WordCount  {

public static void main(String[] args) throws InterruptedException {
    SparkSession spark = SparkSession.builder().appName("Java Spark 
       Application").master("local").getOrCreate();
    Dataset<Row> df = spark.read()
            .format("com.databricks.spark.csv")
            .option("inferschema", "true")
            .option("header", "true")
            .load("/home/ist/OtherCsv/EmptyCSV.csv");
    spark.close();
}}

Spark UI图片:

  1. three jobs in spark UI
  2. stages relates info
  3. all three stages have same dag visualization
  4. and all three jobs have same dag visualization
  5. and this is event timeline
  6. 问题:

    1. 为什么加载或读取csv总是分成三个阶段 和三个工作。
    2. 为什么在没有任何行动的情况下转换成三份工作?
    3. 如何在代码级别形成阶段?

0 个答案:

没有答案