Spark JdbcRDD确定lowerBound和upperBound

时间:2019-06-04 20:43:30

标签: apache-spark jdbc rdd

在创建JdbcRDD对象时,必须在SQL查询中为占位符指定下限和上限。我只是想知道确定用于这些值的最佳实践是什么。

我的表有一个整数id字段(唯一可行的选择),该字段会自动递增。由于该字段没有业务意义,所以我不知道当前的最大值是什么。

我是否只需要执行一个单独的JDBC查询(Spark外部)来确定我的id字段的上限和下限,或者有更好的方法吗?

0 个答案:

没有答案