如何根据特定值将数据帧同时写入hive表

时间:2017-01-24 16:06:48

标签: scala apache-spark spark-dataframe databricks

我有一个场景,其中数据帧作为通用集。基于该数据帧,基于数据帧中的某些值写入不同的配置单元表。但这是通过顺序执行实现的。在通用数据帧上使用过滤器操作并检索该数据帧的子集,然后将其写入不同的hive表。这是使用数据帧上的分区方法同时写入hive表的任何其他方式。这可以在通用数据帧上执行以进行写操作。

0 个答案:

没有答案