安装Spark问题。无法使用pyspark打开IPython Notebook

时间:2015-02-01 17:06:58

标签: install apache-spark ipython ipython-notebook pyspark

以下是错误的链接:http://i.imgur.com/N9ccVsM.jpg

我正在尝试单独安装spark工作但我收到此错误。我将环境变量中的JAVA_HOME设置为" C:\ Program Files(x86)\ Java \ jre1.8.0_31"。

输入pyspark后,ipthon笔记本应该在新标签中打开,但不会。

它似乎无法找到与笔记本电脑相关的东西。在其中,但不确定

由于 马特

3 个答案:

答案 0 :(得分:0)

花了2.5小时后问题被设定为IPYTHON_OPTS ="笔记本电脑"应该是IPYTHON_OPTS =笔记本。没有报价。

答案 1 :(得分:0)

由于你一直在Window中执行,你需要先设置IPYTHON_OPTS变量,然后执行命令启动pyspark

  1. 设置IPYTHON_OPTS = notebook

  2. ./仓/ pyspark

答案 2 :(得分:0)

我也尝试过这种方法;它不会起作用。我在Windows 10和7上成功使用了以下内容,使用Enthought Canopy作为我的IDE和IPython笔记本。

步骤1.检查Python和Spark的环境变量。你能直接从命令提示符启动pyspark吗?

步骤2.启动Python(或IPython)

步骤3.使用(并调整到您的机器)以下代码:

import os

import sys

spark_home = os.environ.get('SPARK_HOME', None)

if not spark_home:

raise ValueError('SPARK_HOME environment variable is not set')

sys.path.insert(0, os.path.join(spark_home, 'python'))

sys.path.insert(0, os.path.join(spark_home, 'C:/spark-1.6.0-bin-hadoop2.6/python/lib/py4j-0.9-src.zip'))

execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

如果你按照我的步骤操作,你应该开始运行。

pyspark