如果列内容太长，如何使用spark-redshift截断列？

Question

我想知道如果列内容太长而不是返回错误，如何使用spark-redshift截断列。

Answer 1

spark-redshift连接器使用引擎盖下的redshift-jdbc连接器。此连接器用于在 AWS Redshift 上自动触发相应的COPY和UNLOAD命令。

但您可以指定extracopyoptions，这是在加载数据时附加到 AWS Redshift COPY命令的额外选项列表，例如在你的情况下TRUNCATECOLUMNS。

注意由于这些选项被附加到COPY命令的末尾，因此只能使用在命令末尾有意义的选项，但这应该涵盖最可能的选项用例。