我正在使用
在代码中编写数据框选项1:
finaloutput.repartition(200).write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
.option("table", "sta040_advice_transaction_final")
.option("partition", "file_date").mode("append").save()
选项2:
finaloutput.write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
.option("table", "sta040_advice_transaction_final")
.option("partition", "file_date").mode("append").save()
但是当我登录时,我在执行器日志中看到以下行。
finaloutput.repartition(200).write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
.option("table", "sta040_advice_transaction_final")
.option("partition", "file_date").mode("append").save()
我在列上有一个分区,并将此数据而不是/ warehouse写入我自己位置的hive表中。这和位置有关吗?在两种情况下,当我收到空行消息时。