标签: java scala apache-spark
我试图调查Spark应用程序中的性能问题。我的每个执行器都配置为有5个核心。以下是我在活动时间表的舞台细节中看到的内容:
问题是绿色矩形中的一个是低于还是高于另一个?这是什么意思?
根据事件时间表判断......即使每个执行程序都有5个核心,大多数情况下,只有一个任务是并行运行的。我的火花属性:
spark.driver.memory 4g spark.executor.instances 48 spark.executor.cores 5