如何使用linux HDInsight更改zeppelin的资源

时间:2016-01-18 17:28:41

标签: linux apache-spark hdinsight ambari apache-zeppelin

之前我使用过Windows版本的HDInsight,并且有一个标签,您可以在其中设置Zeppelin的每个工作线程的核心数和ram数。

我按照本教程使Zeppelin工作: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-use-zeppelin-notebook/

Linux版HDInsight使用Ambari来管理资源,但我似乎无法找到更改Zeppelin设置的方法。

  • Zeppelin无法作为左侧服务列表中的单独服务进行选择。当我在操作中选择“添加服务”时,似乎无法添加它。

  • 我尝试使用覆盖编辑Ambari中的常规spark配置,然后将工作节点添加到我的新配置组,并增加自定义spark-defaults中的内核和RAM数量。 (然后单击“保存并重新启动所有受影响的服务”。)

  • 我尝试使用

    编辑火花设置
    String decryptedStr = new String(encrypted);
    

在头部节点上,但Ambari没有拿到它。

对于每次大约需要1000-1100秒的查询,Zeppelin中的性能似乎保持不变。

1 个答案:

答案 0 :(得分:0)

Zeppelin不是一项服务,所以它不应该出现在Ambari。如果您致力于以这种方式管理它,您可能能够使其工作 https://github.com/tzolov/zeppelin-ambari-plugin

要通过ssh进行编辑,您需要编辑zeppelin-env.sh文件。首先给自己编辑烫发。

sudo chmod u+w /usr/hdp/current/incubator-zeppelin/conf/zeppelin-env.sh 

然后使用

编辑zeppelin配置
vi /usr/hdp/current/incubator-zeppelin/conf/zeppelin-env.sh 

您可以在此配置ZEPPELIN_JAVA_OPTS变量,添加:

-Dspark.executor.memory=1024m -Dspark.executor.cores=16 

所有这一切......你有什么理由不能只使用Jupyter笔记本吗?