将带有参数的python脚本发送到Apache Livy

时间:2019-04-27 08:21:08

标签: python rest apache-spark pyspark livy

我正在尝试将带有参数的python脚本发送给Apache Livy。我已经有了一个使用以下python代码将文件(file_content)的内容发送到Livy的代码:

data = {
        'code': file_content
}
headers = {'Content-Type': 'application/json'}
r = requests.post(host + '/sessions/' + session_number + '/statements', data=json.dumps(data), headers=headers)

现在,我想发送带有参数注入到文件中的python脚本,例如在unix系统上,它看起来像这样: python add_two_numbers.py 1 2,但使用Apache Livy。到目前为止,我没有找到成功的解决方案。我将感谢您的提示。

1 个答案:

答案 0 :(得分:0)

对于您的情况,livy json为"args": [1, 2]

如果您的python命令类似于python add_two_numbers.py --first 1 --second 2

livy json为"args": ["--first=1", "--second=2"]