Windows上的Jupyter笔记本-将SparkMagic与Kerberos结合使用

时间:2018-08-01 03:00:33

标签: pyspark anaconda jupyter-notebook kerberos

在jupyter笔记本上使用带有sparkmagic的Kerberos时遇到了一些困难。我通过Windows盒子上的anaconda安装了jupyter,并能够对其进行设置以访问测试的HDInsight群集。那只是证明我可以通过sparkmagic访问任何东西。因此,我知道一般的jupyter / sparkmagic设置工作正常。

我真正需要做的是与本地群集交谈。那是行进路线,并通过kerberos进行保护。我的困难是使使用Windows kerberos票的火花变魔术。在设置sparkmagic配置文件进行身份验证时,我找不到任何说明。此外,当我在Windows上运行以下命令时,当我连接到livy时会出现身份验证错误:

curl --negotiate --user myusername:mypassword --url http://livyserver:8998/sessions

如果在ssh到边缘节点时运行同一行,则它将正确进行身份验证。我使用相同的用户名和密码来验证Windows,边缘节点和Hue。

在sparkmagic的配置文件中,我尝试像这样输入用户名和密码:

{
  ... stuff ...
  "kernel_scala_credentials":{
      "username":"myusername",
      "password":"mypassword",
      "url": "http://livyserver:8998",
      "auth": "Kerberos"
    }
  ... the rest is following example_config.json ...
} 

那么,如何设置winkerberos和sparkmagic来纪念Windows门票?还是因为尽管使用了相同的凭据,但我仍需要Windows从Linux机器使用的身份验证方法中获得kerberos票证?

0 个答案:

没有答案