Azure HDInsight Jupyter笔记本无法正常工作

Question

我已经在Microsoft Azure上以标准配置部署了HDInsight 3.6 Spark（2.3）群集（位置=美国中部，头节点= D12 v2（x2）-8核，工作节点= D13 v2（x4））-32核心）。

启动Jupyter笔记本电脑并选择Spark笔记本电脑时出现了一个奇怪的错误，我无法确定。

Answer 1

我通过2个步骤解决了相同的问题：

1. 通过ssh连接到headnode并更改文件-/usr/bin/anaconda/lib/python2.7/site-packages/nbformat/_version.py的内容。将5替换为4（通过sudo vim ..）

1. 通过Ambari重新启动Jupyter服务

Answer 2

我和你在同一条船上，这真令人沮丧。我无法使jupyter笔记本在Azure上工作。但是我能够通过pyspark shell运行spark命令。我在此博客中的经验

https://krishansubudhi.github.io/datascience/2020/01/12/hdinsight.html

但是，我能够使用AWS打开jupyter笔记本。博客文章末尾有关于这一部分的内容。

Answer 3

HDInsight团队正在针对此问题推出自愈措施。一旦部署了自我修复操作，受影响的群集上的Jupyter服务将必须重新启动才能使更改生效。部署修补程序后，我将更新此线程。

Answer 4

代码将将jupyter笔记本转换为v5格式，只有Python 3支持该代码。

您需要使用python 3.5 + 内置的anaconda环境或setup virtual python 3 environmet