你在哪里配置jupyter本地安装的spark和hive设置?

时间:2017-09-28 02:14:57

标签: scala apache-spark pyspark apache-spark-sql

我试图在我的本地IDE和本地安装的Conda jupyter环境中配置Spark,以使用我们的公司spark / hive connect,它看起来与此类似:

主持人:mycompany.com 港口:10003

我尝试配置spark-default.conf

spark.master  spark://mycompany.com:10003

当我尝试调用spark上下文时:sc 我在Jupyter中遇到以下错误:

Exception: Java gateway process exited before sending the driver its port number

有没有人知道我可以用来配置jupyter和/或Netbeans的本地实例以使用Spark和Scala或Python的任何好的文档?

0 个答案:

没有答案