Zeppelin和Spark配置

时间:2017-06-04 05:24:31

标签: apache-spark apache-zeppelin elasticsearch-hadoop

我在我的localhost上使用Zeppelin(0.7.1)在Spark(2.1.1)上工作,并试图为我运行的作业添加一些配置值。

具体来说,我试图为elasticsearch-hadoop设置es.nodes值。

我尝试将键和值添加到解释器配置中,但这并没有显示在sc.getConf中。添加到口译员" args"配置键值" - conf mykey:myvalue"也没有注册。 这不是Spark解释器配置应该做的吗?

1 个答案:

答案 0 :(得分:1)

显然这是Zeppelin的故意改变,不久前实施了...... 它只允许将spark。*属性委托给SparkConf。我提交了一条评论来改变这一点,因为我认为这是有问题的。 https://github.com/apache/zeppelin/pull/1970