在从任何目录启动的Jupyter Notebook中导入pyspark

时间:2017-08-13 20:32:54

标签: python pyspark jupyter-notebook

我的操作系统是Ubuntu 16,我的目标是在Jupyter笔记本中function addSpace(s,maxLength){ return s.length >= maxLength ? s : s + " ".repeat(maxLength-s.length); } console.log(addSpace("This is my string", 30),"!");,而不必从我安装Spark的目录中启动Jupyter Notebook(通过控制台)。我和import pyspark一样尝试了

findspark

这适用于一个会话,但当我关闭会话并再次打开笔记本时,import findspark findspark.init("directory_where_I_installed_spark_to") import pyspark 会让我import pyspark。我错过了什么?

2 个答案:

答案 0 :(得分:0)

如果你在上面代码的第二行之后添加了findspark.find() 你两次获得的输出是什么?

答案 1 :(得分:0)

我通过编辑此处https://medium.com/@GalarnykMichael/install-spark-on-ubuntu-pyspark-231c45677de0所述的.bashrc文件达到了我的目标(步骤7)。