从Scala运行时,Spark Hivecontext不执行查询

时间:2016-08-09 11:19:13

标签: scala apache-spark apache-spark-sql hivecontext spark-hive

我有一个Scala程序,其中我创建了一个hivecontext并从中运行一个hive查询。 hive查询是一个多表插入查询。我正面临着查询成功运行的问题,但我看不到正在生成的问题。有趣的是,如果在多表惰性查询中我插入到一个表中查询正在成功运行,即我可以看到输出数据。 例如:

val hiveContext = = new org.apache.spark.sql.hive.HiveContext(sc)

不生成数据的查询:

hiveContext.sql("FROM source_table INSERT INTO destiantion_table_1 PARTITION (...)
INSERT INTO destination_table_2 PARTITION (...)
INSERT INTO destination_table_3 PARTITION (...)")

查询工作正常:

hiveContext.sql("FROM source_table INSERT INTO destiantion_table_1 PARTITION (...)

我查看了执行程序日志,没有报告未执行的查询错误。

我在YARN上运行Spark 1.5

如果上述内容需要任何其他信息,请与我们联系。

0 个答案:

没有答案