Question

您好我有一个Spark数据帧，我想将其保存为带分区的hive表。我尝试了以下两个语句，但它们不起作用我没有看到HDFS目录中的任何ORC文件为空。我可以看到baseTable在Hive控制台中，但显然它是空的，因为HDFS中没有文件。以下两行saveAsTable()和insertInto()不起作用。 registerDataFrameAsTable（）方法有效但它在内存表中创建并在我的用例中导致OOM，因为我有数以千计的hive分区到prcoess。请指导我是Spark新手。提前谢谢。

dataFrame.write().mode(SaveMode.Append).partitionBy("entity","date").format("orc").saveAsTable("baseTable"); 

dataFrame.write().mode(SaveMode.Append).format("orc").partitionBy("entity","date").insertInto("baseTable");

//the following works but creates in memory table and seems to be reason for OOM in my case

hiveContext.registerDataFrameAsTable(dataFrame, "baseTable");

Answer 1

希望你已经得到了你的答案，但是发布这个答案供其他人参考，partitionBy只支持Parquet直到Spark 1.4，支持ORC，JSON，text和avro在版本1.5+中添加请参考下面的文档< / p>

https://spark.apache.org/docs/1.6.1/api/java/org/apache/spark/sql/DataFrameWriter.html

使用partitionBy的Spark DataFrame saveAsTable在HDFS中不创建ORC文件

1 个答案: