使用Spark写入外部Hadoop

Question

我正在使用Java-Spark。

我正在尝试按以下步骤写入外部HDFS目录：

df.write().mode(mode).save("hdfs://myservername:8020/user/path/to/hdfs");

有一个例外

  

主机详细信息：本地主机为：...目标主机为：...

如何从Spark写入“外部” hdfs目录，而不写入本地Hadoop / HDFS？

谢谢

Answer 1

检查是否可以从Spark群集访问HDFS Namenode主机名，您也可以使用IP地址。

hdfs://<HDFS_NAMENODE_IP>:8020/user/path/to/hdfs

您还可以使用以下命令在spark应用程序中更新spark配置：

spark.conf.set("fs.defaultFS", "hdfs://<HDFS_NAMENODE_IP>:8020/")。