从数据列驱动目标表写入Hive

时间:2019-07-04 16:40:17

标签: apache-spark-sql

我有带有uber模式的DataSet,要求是根据一些列值写入不同的Hive表。基本上,组合的列值确定目标配置单元表。我考虑过使用groupBy,但是结果是聚合的,使用重新分区并不总是保证一个分区映射到一个Hive表。还有其他选择吗?

0 个答案:

没有答案