与另一个用户一起运行用户本地jupyter安装

Question

我已经使用--user选项安装了jupyter，它运行正常。我需要在笔记本中运行spark并从HDFS读取并且与我的个人用户一起运行jupyter会在HDFS中创建文件权限问题。因此，我决定使用hdfs用户运行它（我们的集群已配置为所有spark作业应该由此hdfs用户运行）但是它无法找到我个人用户的/home/myuser/.local文件夹中的依赖项。有没有办法告诉jupyter作为当前用户（hdfs）运行，但在另一个用户的家中寻找二进制文件和依赖项？

此外，我正在使用toree作为网关，如果这可以打开更多选项。

Answer 1

尝试旧的Hadoop技巧：

• 在您自己的用户下运行Spark会话
• 但在Spark环境中，插入export HADOOP_USER_NAME=hdfs命令，以便驱动程序在分配YARN执行程序时注册为hdfs。

（当然不能与Kerberos一起使用;但是这是针对Kerberos进行hdfs身份验证的问题......）