具有hive表增量支持的Spark sql

时间:2017-03-28 09:48:17

标签: java apache-spark hive apache-spark-sql spark-dataframe

目前最新版本的Spark(2.1.0)列出了Hive不受支持的主要功能,如:

  

带有存储桶的表:存储桶是Hive表分区中的散列分区。 Spark SQL还不支持存储桶。

这意味着在Hive正确处理的情况下,不会加载具有分段列结构的DataFrame表。有一些解决方法可以通过JDBC,临时表等来实现这样的功能。主要问题是如何使用Spark SQL在使用增量实现的表上实现完全控制?

0 个答案:

没有答案