之前我使用过Windows版本的HDInsight,并且有一个标签,您可以在其中设置Zeppelin的每个工作线程的核心数和ram数。
我按照本教程使Zeppelin工作: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-use-zeppelin-notebook/
Linux版HDInsight使用Ambari来管理资源,但我似乎无法找到更改Zeppelin设置的方法。
Zeppelin无法作为左侧服务列表中的单独服务进行选择。当我在操作中选择“添加服务”时,似乎无法添加它。
我尝试使用覆盖编辑Ambari中的常规spark配置,然后将工作节点添加到我的新配置组,并增加自定义spark-defaults中的内核和RAM数量。 (然后单击“保存并重新启动所有受影响的服务”。)
我尝试使用
编辑火花设置String decryptedStr = new String(encrypted);
在头部节点上,但Ambari没有拿到它。
对于每次大约需要1000-1100秒的查询,Zeppelin中的性能似乎保持不变。
答案 0 :(得分:0)
Zeppelin不是一项服务,所以它不应该出现在Ambari。如果您致力于以这种方式管理它,您可能能够使其工作 https://github.com/tzolov/zeppelin-ambari-plugin
要通过ssh进行编辑,您需要编辑zeppelin-env.sh文件。首先给自己编辑烫发。
sudo chmod u+w /usr/hdp/current/incubator-zeppelin/conf/zeppelin-env.sh
然后使用
编辑zeppelin配置vi /usr/hdp/current/incubator-zeppelin/conf/zeppelin-env.sh
您可以在此配置ZEPPELIN_JAVA_OPTS变量,添加:
-Dspark.executor.memory=1024m -Dspark.executor.cores=16
所有这一切......你有什么理由不能只使用Jupyter笔记本吗?