Question

我想使用Spark History Server API（http://127.0.0.1:18080/api/v1/applications/）来识别某些作业写入的/ tmp / spark-events /中的日志文件。我可以看到作业ID与日志文件名相同，所以我想是否有一个我可以查找的唯一作业名称并获取相关ID。我的问题是我有一个scala应用程序，它在代码中设置应用程序名称：

val conf = new SparkConf()
  .setAppName(s"TeraGen ($size)")

每次运行作业时，它都具有相同的名称。是否可以在命令行中覆盖应用程序名称？我试过传递--name，但这不起作用。

如果做不到，有没有更好的方法呢？

Answer 1

我通过将以下内容添加到我的代码并将其分配给变量来将uuId作为arg传递：

val uuId = args(2)

然后我使用以下命令将其添加到应用程序名称中：

val conf = new SparkConf()
  .setAppName(s"TeraGen ($size) $uuId")

Spark History Server - 识别作业写入

1 个答案: