Spark REST API发布请求未返回响应

时间:2019-06-19 23:39:31

标签: python rest api apache-spark

我正在尝试使用SPARK REST API启动pyspark作业。我输入了发帖请求,但没有收到任何回复。

我的环境如下:

  • Linux Ubuntu 18.04.01 LTS Bionic
  • Java版本1.8.0_211-b12 SE运行时环境
  • Spark版本2.4.3
  • Python版本3.7.1
  • Scala版本2.11.12

这是我的尝试:

  1. 我启动了主节点和从节点: ./sbin/start-all.sh enter image description here

  2. 我在浏览器上看到以下用户界面: enter image description here

  3. 我在终端中输入以下命令:

curl -X POST http://192.168.43.88:34481/v1/submissions/create \
     --header "Content-Type:application/json;charset=UTF-8" \
     --data '{"action":"CreateSubmissionRequest",\
              "appArgs":["/home/daniel/Documents/pyfiles/spark_pi.py"],\
              "appResource":"file:/home/daniel/Documents/pyfiles/spark_pi.py",\
              "clientSparkVersion":"2.4.3",\
              "environmentVariables":{"SPARK_ENV_LOADED":"1"},\
              "mainClass":"org.apache.spark.deploy.SparkSubmit",\
              "sparkProperties":{"spark.driver.supervise":"false",\
              "spark.app.name":"Simple App",\
              "spark.eventLog.enabled":"true",\
              "spark.submit.deployMode":"cluster",\
              "spark.master":"spark://daniel-K501UX:7077"}}'

enter image description here

即使等待10分钟以上,我也没有得到回应。我在做什么错了?

0 个答案:

没有答案