如何在Spark中获取地图任务的ID？

Question

有没有办法在Spark中获取地图任务的ID？例如，如果每个map任务调用一个用户定义的函数，我可以从用户定义的函数中获取该map任务的ID吗？

Answer 1

我不确定您的地图任务ID是什么意思，但您可以使用TaskContext访问任务信息：

import org.apache.spark.TaskContext

sc.parallelize(Seq[Int](), 4).mapPartitions(_ => {
    val ctx = TaskContext.get
    val stageId = ctx.stageId
    val partId = ctx.partitionId
    val hostname = java.net.InetAddress.getLocalHost().getHostName()
    Iterator(s"Stage: $stageId, Partition: $partId, Host: $hostname")
}).collect.foreach(println)

Spark 2.2.0（SPARK-18576）中的PySpark添加了类似的功能：

from pyspark import TaskContext
import socket

def task_info(*_):
    ctx = TaskContext()
    return ["Stage: {0}, Partition: {1}, Host: {2}".format(
        ctx.stageId(), ctx.partitionId(), socket.gethostname())]

for x in sc.parallelize([], 4).mapPartitions(task_info).collect():
    print(x)

Answer 2

我相信TaskContext.taskAttemptId是您想要的。您可以通过TaskContext.get在函数中获取当前任务的上下文。