错误：未找到：值sqlContext

Question

我想创建一个python应用程序来使用Apache Spark分析Twitter流数据。

有没有办法在不设置Hadoop环境的情况下使用Apache Spark流的功能。如何在独立模式下运行Apache Spark？ 我刚刚下载了二进制文件并试图运行spark-shell，得到NullPointerException。有人可以帮忙。

<console>:10: error: not found: value sqlContext
import sqlContext.implicits.

<console>:10: error: not found: value sqlContext
import sqlContext.sql

Answer 1

我使用自制软件安装spark 1.5.2，当我启动spark-shell时，我遇到了同样的错误。我将导出SPARK_LOCAL_IP = 127.0.0.1添加到.bashrc或.bash_profile。它有效。

Answer 2

如果您使用Spark 1.6，Linux / Unix，并且在错误消息中找到以下行：

 ...
 java.net.UnknownHostException: <YOURHOSTNAME>: <YOURHOSTNAME>: unknown error at
 java.net.InetAddress.getLocalHost(InetAddress.java:1663)
 ...
 Caused by: java.net.UnknownHostException: <YOURHOSTNAME>: unknown error    
 ...
 <console>:16: error: not found: value sqlContext
                import sqlContext.sql

添加/ etc / hosts：

 $ sudo vi /etc/hosts
 ...
 127.0.0.1  <YOURHOSTNAME>
 ...

这解决了我的情况下丢失的sqlContext值问题。