使用Spark saveAsTable命令时遇到的问题

时间:2019-01-26 06:16:21

标签: apache-spark hive pyspark

我已经配置了配置单元,并且我正在使用spark将数据帧写入配置单元。我已经在Spark配置和Hive配置中配置了Hive仓库路径。在这两个配置中,我的仓库位置均为hdfs:// ip-address:8020 / user / hive / warehouse。但是,当我在spark表的serdeproperties路径中使用saveAsTable函数时,其格式为hdfs:// namenode:8020 / user / hive / warehouse。因此,在阅读时,我收到了作为未知主机名节点的异常

0 个答案:

没有答案