在Apache Spark 2.0.0中，是否可以从外部数据库中获取查询（而不是抓取整个表）？

Question

使用pyspark：

from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("spark play")\
    .getOrCreate()    

df = spark.read\
    .format("jdbc")\
    .option("url", "jdbc:mysql://localhost:port")\
    .option("dbtable", "schema.tablename")\
    .option("user", "username")\
    .option("password", "password")\
    .load()

我不想获取＆＃34; schema.tablename＆＃34;，而是希望获取查询的结果集。

Answer 1

Same as in 1.x您可以将有效子查询作为dbtable参数传递，例如：

...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...