在Apache Livy的请求正文中火花批处理AppName

Question

在从Apache Livy提交批处理作业时如何设置Spark App-Name？

Answer 1

您可以在发帖请求中使用name标签。

import json
import requests

host = 'http://ip:8998/batches'
headers = {'Content-Type': 'application/json'}

data = {
    'file': '/path/to/spark.jar',
    'className': 'class.to.Job',
    'numExecutors': 2,
    'executorMemory': '512m',
    'driverMemory': '512m',
    'name': 'Name your application'
}
r = requests.post(host, data=json.dumps(data), headers=headers)