Spark和JdbcRDD:尝试在我的节点上分发sql查询

时间:2014-10-14 16:45:44

标签: apache-spark

我尝试使用JdbcRDD访问sql数据库。我想做"分页"在我的查询中 使用ROW_NUMBER()和OVER(ORDER BY ...)。知道我的查询的maxBound我想在一个执行器上每页运行1个查询。我以为jdbcRdd构造函数的numPartitions会为我做这个。但它并不是并行运行查询,而是按顺序运行......这更长......

任何想法..或只是提示这样做将不胜感激!

THX

0 个答案:

没有答案