spark-redshift：由于内部错误，不支持这种类型的相关子查询模式

Question

当我从Apache Spark运行Aws Redshift查询时，使用databricks（https://github.com/databricks/spark-redshift）提供的模块spark-redshift我收到以下错误：

[Amazon](500310) Invalid operation: This type of correlated subquery pattern is not supported due to internal error; 

但是，如果我使用SQL客户端（例如DBeaver）直接在redshift上运行某些查询，则查询会正确执行。

编辑：我还尝试在redshift上使用UNLOAD命令执行相同的查询，它可以正常工作。

我正在使用以下版本的spark-redshift和redshift驱动程序：

<dependency>
   <groupId>com.databricks</groupId>
   <artifactId>spark-redshift_2.11</artifactId>
   <version>3.0.0-preview1</version>
</dependency>
<dependency>
   <groupId>com.amazon.redshift</groupId>
   <artifactId>redshift-jdbc41</artifactId>
   <version>1.2.1.1001</version>
</dependency>

有人知道如何解决它吗？