Spark SQL 如何通过join操作执行SQL查询？

Question

对于以下操作在spark sql中运行sql语句来连接PostgreSQL中的两个表：

val df = spark.read.jdbc(url, 'select * from table_1 join table_2 on a where x', connproperties);

数据库引擎是否会执行联接操作并将联接结果发回？或者数据库是否会将 table_1 和 table_2 的所有记录发送到 spark job 和 spark job 进行连接？是否有一些文档可以解释此操作？谢谢！

Answer 1

PostgreSQL 数据库只会从单个查询返回单个结果集。如果您将使用有效的 SQL，那可能是连接结果。或者什么都不做，以防没有记录符合您的条件。