在jupyter笔记本上使用带有sparkmagic的Kerberos时遇到了一些困难。我通过Windows盒子上的anaconda安装了jupyter,并能够对其进行设置以访问测试的HDInsight群集。那只是证明我可以通过sparkmagic访问任何东西。因此,我知道一般的jupyter / sparkmagic设置工作正常。
我真正需要做的是与本地群集交谈。那是行进路线,并通过kerberos进行保护。我的困难是使使用Windows kerberos票的火花变魔术。在设置sparkmagic配置文件进行身份验证时,我找不到任何说明。此外,当我在Windows上运行以下命令时,当我连接到livy时会出现身份验证错误:
curl --negotiate --user myusername:mypassword --url http://livyserver:8998/sessions
如果在ssh到边缘节点时运行同一行,则它将正确进行身份验证。我使用相同的用户名和密码来验证Windows,边缘节点和Hue。
在sparkmagic的配置文件中,我尝试像这样输入用户名和密码:
{
... stuff ...
"kernel_scala_credentials":{
"username":"myusername",
"password":"mypassword",
"url": "http://livyserver:8998",
"auth": "Kerberos"
}
... the rest is following example_config.json ...
}
那么,如何设置winkerberos和sparkmagic来纪念Windows门票?还是因为尽管使用了相同的凭据,但我仍需要Windows从Linux机器使用的身份验证方法中获得kerberos票证?