如何使用YARN客户端模式在Jupyter中以交互方式运行Pyspark?

时间:2018-04-28 06:21:50

标签: apache-spark pyspark jupyter

现在我已经成功地通过本blog中提到的第二种方法在本地模式下在Jupyter中运行Pyspark。 这是代码:

import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext("local", "First App")

我想在YARN-client模式下以交互方式运行它,我该怎么办? 让我们进一步了解如何在不同模式下运行,例如,独立模式和YARN集群模式。

1 个答案:

答案 0 :(得分:0)

收到Docs

  

主网址根据HADOOP_CONF_DIR或YARN_CONF_DIR变量接受 sc = SparkContext("yarn-client", "First App") 参数

所以我可以简单地使用: <html> <head> </head> <body> <input type="text" id="sample"> <button id="button" onclick="download();">save as</button> <script src="FileSaver.js"></script> <script type="text/javascript"> function download(){ var save = document.getElementById("sample").value; alert(save); var blob = new Blob([save], {type: "text/plain;charset=utf-8"}); saveAs(blob, "hello world.txt");} </script> </body> </html>