无法通过Livy在纱线(集群或客户端)模式下运行Spark作业,我可以使用Livy运行spark作业,但作业正在运行本地模式,在资源管理器上不可见。我想以纱线群集模式运行这些作业。
我正在使用Hortonworks HDP 2.6.1 hadoop发行版。 HDP2.6.1有两个版本的spark(2.1.1和spark 1.6.3)和两个版本的livy(1和2)。
我们让Ambari查看/更改配置文件。
我们在以下文件中进行了更改: -
在上述文件中添加了以下属性: -
======数据======
data = {
'code': textwrap.dedent("""
print(sc.applicationId)
""")
}
======== curl command =========
curl hdpmaster:8998/sessions/0/statements -X POST -H 'Content-Type: application/json' -d '{"code":"1 + 1"}'
有人可以帮忙,我们需要在哪个配置文件中更改以在纱线模式下运行spark作业?
答案 0 :(得分:0)
由于你无法在你的工作机构中设置主参数,他可能正在采取jar中设置的内容,即“本地”。 检查你的代码可能是你硬编码的值