我正在尝试从安装在本地计算机上的Intellij中的spark程序中连接到远程配置单元。
我将hadoop集群配置文件放在本地机器上，并在Intellij中配置环境变量HADOOP_CONF_DIR运行此spark程序的配置，以便能够检测到这个hadoop集群，但是intelliJ不知何故没有读取这些文件并且火花程序默认为本地hive Metastore实例
无论如何都要将intelliJ配置为在本地读取hadoop配置文件。任何帮助都非常感谢。
答案 0 :(得分：0)
请配置SPARK_CONF_DIR变量并复制该目录中的hive-site.xml。 Spark将连接指定的配置单元存储，并确保hive-site.xml指向您的集群详细信息。
由于 拉维
答案 1 :(得分：0)
将hadoop配置文件文件夹添加到intellij项目类路径中
项目设置->库-> +-> Java->选择包含所有配置文件的文件夹-> 类