我有一个Scala程序,其中我创建了一个hivecontext并从中运行一个hive查询。 hive查询是一个多表插入查询。我正面临着查询成功运行的问题,但我看不到正在生成的问题。有趣的是,如果在多表惰性查询中我插入到一个表中查询正在成功运行,即我可以看到输出数据。 例如:
val hiveContext = = new org.apache.spark.sql.hive.HiveContext(sc)
不生成数据的查询:
hiveContext.sql("FROM source_table INSERT INTO destiantion_table_1 PARTITION (...)
INSERT INTO destination_table_2 PARTITION (...)
INSERT INTO destination_table_3 PARTITION (...)")
查询工作正常:
hiveContext.sql("FROM source_table INSERT INTO destiantion_table_1 PARTITION (...)
我查看了执行程序日志,没有报告未执行的查询错误。
我在YARN上运行Spark 1.5
如果上述内容需要任何其他信息,请与我们联系。