我正在尝试运行我在Scala中编写的数据转换作业,里面有hive查询。
下面是我对hortonworks(ambari)hadoop的配置。
HDP-2.5.3.0
HDFS (ver.2.7.3)
YARN (ver.2.7.3)
MapReduce2 (ver.2.7.3)
Tez (ver.0.7.0)
Hive (ver.1.2.1000)
Spark2 (ver.2.0.0)
当我在群集模式下运行我的程序时,数据不会加载到配置单元中,但是当我仅在主节点上运行时,相同的Scala jar然后它可以正常工作。它在hive表中插入数据。
在群集模式下没有报告异常,所以我无法弄清楚究竟是什么问题。
如何找到此问题的根本原因?