Question

我是新手，我有两个长时间运行的阶段几乎都在做同样的事情。下面是我的伪代码。

var metaData = sqlContext.read
  .format("com.databricks.spark.csv")
  .option("header", "true") 
  .option("inferSchema", "true") 
  .load(csvFile)

val met = broadcast(metaData.dropDuplicates(Seq("col1")))


val accessLogs = sc.textFile(logFile).filter(line => regex.pattern.matcher(line).matches).map(line => LogParser.parseLogLine(line)).toDF()




val joinOutput = accessLogs.join(met,accessLogs("col1") === met("col1"),"left_outer")

val uniqueDfNames2 = Seq("col0", "col1", "col2", "col3","col4")
val sparseFilter = joinOutput
                    .filter(joinOutput.col("col1").isNotNull)
                    .filter(joinOutput.col("col2").isNotNull)
                    .flatMap(row=>ListParser.parseLogLine(row))
sparseFilter.cache()

val uniqueCount = sparseFilter
                    .filter{r=>r.col0 != null && r.col0 != "" }
                    .map{
                          case(KeyValParse(col0,col1,col2,col3,col4,col5))=>((col0,col1,col2,col3,col4,col5),1)
                        }
                    .distinct().cache()
                    .map {case ((col0,col1,col2,col3,col4),count) => ((col0,col1,col2,col3,col4),1)
                    }
                    .reduceByKey(_+_)
                    .map {case ((col0,col1,col2,col3,col4),count) => (col0,col1,col2,col3,col4,count)
                    }
                    .toDF(uniqueDfNames: _*).cache()

val totalCount = sparseFilter
                  .map{
                        case(Parse(col0,col1,col2,col3,col4,col5))=>((col0,col1,col2,col3,col4),1)
                      }
                  .reduceByKey(_+_)
                  .map{
                        case ((col0,col1,col2,col3,col4),totcount) => (col0,col1,col2,col3,col4,totcount)
                      }
                  .toDF(uniqueDfNames2: _*)
                  .join(uniqueCount,Seq("col0", "col1", "col2", "col3"),"left")
                  .select($"col0",$"col1",$"col2",$"col3",$"unicount",$"totcount")
                  .orderBy($"unicount".desc)
                  .toDF(totalDfNames: _*)

totalCount
  .select("*")
  .write
  .format("com.databricks.spark.csv")
  .option("header", "true")
  .option("delimiter", "|")
  .save(countPath)

我在这里尝试做的是根据一些参数从日志中生成唯一和总计数。

一切正常但是这两个长期运行的阶段几乎共享相同的DAG。

以下是两个阶段的镜头。

请查看以下两个阶段的屏幕截图。

在flatmap任务之前，他们都做同样的事情。为什么这些没有合并为一个阶段？为什么第11阶段再次重新读取文件并再次进行所有计算是我无法猜测的？

对于带有10个执行器（7个内核，15Gb RAM）的20Gb数据，它需要将近30分钟才能完成，但我觉得这可以减少到相当短的时间。

任何指导都将不胜感激。

PS： - 对不起我的图像编辑技巧：）

Answer 1

RDD在第一次在动作中计算时被缓存。代码中的第一个操作是“distinct”，即缓存“sparseFilter”RDD时。因此，第一个缓存操作可能对后续阶段没有用。第一阶段的输出是一个不同的RDD，但后来你指的是sparseFilter。所以Spark必须再次重新计算RDD。

我认为逻辑可以稍有不同地改变。如果我正确理解了totalCount和uniqueCount，则代码使用相同的列集（col0，col1，col2，col3，col4）。那么在totalCount计算中，在reduceByKey之后，一个简单的计数应该给出uniqueCount？可以通过这种方式避免使用额外的distinct，reduceByKey，join等。

为什么apache spark中的那两个阶段计算同样的东西？

1 个答案: