现在我已经成功地通过本blog中提到的第二种方法在本地模式下在Jupyter中运行Pyspark。 这是代码:
import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext("local", "First App")
我想在YARN-client模式下以交互方式运行它,我该怎么办? 让我们进一步了解如何在不同模式下运行,例如,独立模式和YARN集群模式。
答案 0 :(得分:0)
收到Docs:
主网址根据HADOOP_CONF_DIR或YARN_CONF_DIR变量接受
sc = SparkContext("yarn-client", "First App")
参数
所以我可以简单地使用:
<html>
<head>
</head>
<body>
<input type="text" id="sample">
<button id="button" onclick="download();">save as</button>
<script src="FileSaver.js"></script>
<script type="text/javascript">
function download(){
var save = document.getElementById("sample").value;
alert(save);
var blob = new Blob([save], {type: "text/plain;charset=utf-8"});
saveAs(blob, "hello world.txt");}
</script>
</body>
</html>