Intellij从hadoop集群访问文件

Question

作为我的intellij环境设置的一部分，我需要连接到远程hadoop集群并访问本地spark代码中的文件。

有没有办法在没有创建hadoop本地实例的情况下连接到hadoop远程环境？

连接代码段是理想的答案。

Answer 1

如果你有一个keytab文件来验证群集，这是我完成它的一种方式：

python

我相信这样做，您可能还需要一些配置xml文档。即val conf: Configuration: = new Configuration() conf.set("hadoop.security.authentication", "Kerberos") UserGroupInformation.setConfiguration(conf) UserGroupInformation.loginUserFromKeytab("user-name", "path/to/keytab/on/local/machine") FileSystem.get(conf) ，core-site.xml和hdfs-site.xml。这些通常位于mapred-site.xml。

之下

您可以将它们放在程序的目录下，并在IntelliJ中将其标记为Resources目录。