如何使用Spark-Redshift连接器设置wlm_query_slot_count

时间:2018-09-18 14:49:54

标签: apache-spark amazon-redshift

我正在使用spark-redshift连接器,以便从Spark启动查询。

val results = spark.sqlContext.read
      .format("com.databricks.spark.redshift")
      .option("url", url_connection)
      .option("query", query)
      .option("aws_iam_role", iam_role)
      .option("tempdir", base_path_temp)
      .load()

我想增加插槽数量以改善查询,因为它是基于磁盘的。但是我不知道如何在连接器中进行下一个查询:

set wlm_query_slot_count to 3;

我不知道如何执行此操作,因为在连接器中的read命令中没有像write命令中那样提供预动作和后动作。

谢谢

0 个答案:

没有答案