了解Spark监控UI

Question

对于正在运行的Spark作业，此处是URL的详细信息的一部分：http://localhost:4040/stages/stage/?id=1&attempt=0

http://spark.apache.org/docs/1.2.0/monitoring.html处的文档没有详细说明这些参数。列“输入”，“写入时间”和“列”是什么？ “Shuffle Write”表示？

从这个截图中可以看出，这4个任务已经运行了1.3分钟，我试图发现它是否存在瓶颈然后发生在哪里。

Spark配置为使用4个核心，我认为这就是为什么UI中显示4个任务，每个任务在单个核心上运行？

什么是“Shuffle Write”尺寸？

在我的控制台输出上有许多日志消息：

15/02/11 20:55:33 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：103306 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：0 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：0 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：103306 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：103306 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：0 + 103306 15/02/11 20:55:33 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：0 + 103306 15/02/11 20:55:34 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：103306 + 103306 15/02/11 20:55:34 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：103306 + 103306 .....................

这些文件的结果是分成多个较小的大小，每个大小为100.9KB的“输入”（在Spark UI屏幕截图中指定）是否映射到其中一个片段？

Answer 1

输入是您的spark作业正在摄取的数据大小。例如，它可以是您可能定义的每个地图任务正在使用的数据。

随机写入被定义为写入磁盘的字节，以便将来执行任务。因此，数据会激发写入磁盘以启用地图输出的传输。例如，如果您正在尝试连接并且需要将数据混洗到其他节点，则这是将传输到其他节点的数据。

任务不在核心上运行，任务在执行程序上运行。该执行器反过来使用核心。

请同时浏览link以便更好地了解相同内容。

Answer 2

并非所有内容都在日志中打印，特别是没有任何自定义代码（除非您自己打印）。当某些内容运行的时间过长时，您可能希望在其中一个执行程序上执行线程转储，并查看堆栈以查看计算中的进度。