将环境变量传递到Livy / PySpark作业

时间:2019-06-18 13:35:36

标签: pyspark environment-variables livy

我有一个通过Livy's HttpClient提交给Livy的PySpark作业,我想向其中传递一些环境变量。
我目前正在使用一种变通方法,其中已提交的代码会手动更新其os.environ

是否有更好的方法来做到这一点,这样我就可以立即获得所有想要的环境变量,即在创建Livy会话时?

0 个答案:

没有答案