KeyError:' SPARK_HOME'在pyspark

时间:2015-07-14 01:13:53

标签: python machine-learning apache-spark pyspark

当我尝试:

<?php
$sql = '
    SELECT
        Station_id, Station_name, Station_email
    FROM
        tbl_station
';
$result = $conn->query($sql)
    or trigger_error('query failed: '.join(',', $conn->error_list));

while( $row=$result->fetch_assoc() ) {
    echo $row['Station_id'], ' ', $row['Station_name'],' ', $row["Station_email"], "<br />\r\n";
}

我明白了:

from pyspark import SparkContext, SparkConf
sc=SparkContext()

解决方案是什么?

1 个答案:

答案 0 :(得分:2)

pyspark依赖于spark SDK。在使用pyspark之前,您需要安装它。

设置完成后,您需要设置环境变量SPARK_HOME以告知pyspark在哪里查找spark安装。如果您使用的是* nix系统,可以通过在.bashrc

中添加以下内容来实现
export SPARK_HOME=<location of spark install>

如果你正在使用Windows,那么通过GUI here设置变量的方式很复杂。通过DOS,您可以在set

的位置使用export
SET SPARK_HOME=<location of spark install>