通过自定义分区写入镶木地板

时间:2018-11-09 06:25:50

标签: apache-spark apache-spark-sql parquet

如何使用自定义分区程序写入镶木地板? (partitonBy,按表中不存在的列) 例如partitonBy year(date),其中date-column,year-udf函数。
仅自定义partitonBy仅在PairRDD中受支持,但是RDD无法在没有模式的情况下写入镶木地板。
Java中的DataSet只有

partitonBy(String colName),partitonBy(Seq colNames)。  (partitonBy("year(date)")

不工作

0 个答案:

没有答案