通过sparkmagic将本地jupyter笔记本连接到HDInsight群集

时间:2016-12-30 10:57:39

标签: azure pyspark jupyter-notebook hdinsight

我在Microsoft Azure上使用标准配置部署了HDInsight 3.5 Spark(2.0)群集(Location = US East,Head Nodes = D12 v2(x2),Worker Nodes = D4 v2(x4))。本地我按照https://github.com/jupyter-incubator/sparkmagic/blob/master/README.md#installationhttps://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-jupyter-notebook-install-locally中的步骤安装了sparkmagic,并更改了config.json文件。启动jupyter笔记本时,我可以选择PySpark内核。即使很难得到内核已准备好的消息,当我尝试执行一个简单的语句(例如t = 4)时,内核开始无限运行。你能提供可能的解决方案吗?

1 个答案:

答案 0 :(得分:1)

最有可能的情况是,config.json配置了错误的端点,用户名或密码。如果您使用的是base64密码字段,请确保密码为base64编码。

如果没有关于错误的更多信息(日志文件应该在~/.sparkmagic/logs中),很难说为什么你无法连接。