Livy:在纱线模式下运行火花作业<running in =“”local =“”mode =“”only =“”>

时间:2017-08-24 12:42:00

标签: curl hortonworks-data-platform livy analytics-for-apache-hdp

无法通过Livy在纱线(集群或客户端)模式下运行Spark作业,我可以使用Livy运行spark作业,但作业正在运行本地模式,在资源管理器上不可见。我想以纱线群集模式运行这些作业。

我正在使用Hortonworks HDP 2.6.1 hadoop发行版。 HDP2.6.1有两个版本的spark(2.1.1和spark 1.6.3)和两个版本的livy(1和2)。

我们让Ambari查看/更改配置文件。

我们在以下文件中进行了更改: -

  1. /usr/hdp/2.6.1.0-129/etc/livy/conf.dist/conf/livy.conf
  2. /usr/hdp/current/livy-server/conf/livy-env.sh
  3. /usr/hdp/2.6.1.0-129/spark/conf/spark-defaults.conf
  4. 在上述文件中添加了以下属性: -

    1. spark.master yarn-cluster
    2. spark.submit.deployMode cluster
    3. ======数据======

      data = {
        'code': textwrap.dedent("""
          print(sc.applicationId)
          """)
      }
      

      ======== curl command =========

      curl hdpmaster:8998/sessions/0/statements -X POST -H 'Content-Type: application/json' -d '{"code":"1 + 1"}'
      

      有人可以帮忙,我们需要在哪个配置文件中更改以在纱线模式下运行spark作业?

1 个答案:

答案 0 :(得分:0)

由于你无法在你的工作机构中设置主参数,他可能正在采取jar中设置的内容,即“本地”。 检查你的代码可能是你硬编码的值