在将数据帧写入我自己的位置时获取日志中的分区值空行

时间:2019-01-21 18:59:16

标签: apache-spark

我正在使用

在代码中编写数据框

选项1:

finaloutput.repartition(200).write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
           .option("table", "sta040_advice_transaction_final")
           .option("partition", "file_date").mode("append").save()

选项2:

finaloutput.write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
           .option("table", "sta040_advice_transaction_final")
           .option("partition", "file_date").mode("append").save()

但是当我登录时,我在执行器日志中看到以下行。

finaloutput.repartition(200).write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
           .option("table", "sta040_advice_transaction_final")
           .option("partition", "file_date").mode("append").save()

我在列上有一个分区,并将此数据而不是/ warehouse写入我自己位置的hive表中。这和位置有关吗?在两种情况下,当我收到空行消息时。

0 个答案:

没有答案