标签: apache-spark
我尝试使用JdbcRDD访问sql数据库。我想做"分页"在我的查询中 使用ROW_NUMBER()和OVER(ORDER BY ...)。知道我的查询的maxBound我想在一个执行器上每页运行1个查询。我以为jdbcRdd构造函数的numPartitions会为我做这个。但它并不是并行运行查询,而是按顺序运行......这更长......
任何想法..或只是提示这样做将不胜感激!
THX