使用Livy上传Python脚本

Question

我正在尝试找到一种方法来在spark服务器上使用Livy API (or client)来推送python脚本。我尝试了以下内容。

1.   

   curl -X POST --data＆＃39; {＆＃34; file＆＃34;：＆＃34; /user/test/pi.py"}＆＃39; -H       ＆＃34;内容类型：application / json＆＃34;本地主机：8998 /批次

，但是当我     看到它找不到文件的日志，因为它正试图找到     服务器上的路径。

1. 使用Livy Python客户端。

  

r =           client.upload_pyfile（＆＃34; /tmp/code/test.py"）

，这将回归未来         对象，但批次没有创建，（我甚至不确定         它上传到的文件路径。）

基本上我想要的是 -

1. 能够在Spark服务器上通过API上传文件 使用Livy。

2. 提交批处理/运行触发器。使用Livy。

Answer 1

使用Livy JAVA客户端我也可以这样做。我已将jar上传到Livy Server并提交Spark JOBS。

您可以参考以下链接。 https://livy.incubator.apache.org/docs/latest/programmatic-api.html

注意事项： 1.等待livy客户端成功上传jar /文件。 2. jar /文件应该在livy服务器或livy服务器可以访问的HDFS中可用。