我正在使用spark-redshift连接器,以便从Spark启动查询。
val results = spark.sqlContext.read
.format("com.databricks.spark.redshift")
.option("url", url_connection)
.option("query", query)
.option("aws_iam_role", iam_role)
.option("tempdir", base_path_temp)
.load()
我想增加插槽数量以改善查询,因为它是基于磁盘的。但是我不知道如何在连接器中进行下一个查询:
set wlm_query_slot_count to 3;
我不知道如何执行此操作,因为在连接器中的read命令中没有像write命令中那样提供预动作和后动作。
谢谢