AWS Redshift：如何存储大小大于100K的文本字段

Question

我在镶木地板文件中有一个文本字段，其最大长度为141598。我正在加载实木复合地板文件以进行红移，并且在加载时出现错误，因为varchar可以存储的最大值为65535。 我可以使用其他任何数据类型还是其他替代方法？

加载时出错：

S3 Query Exception (Fetch). Task failed due to an internal error. The length of the data column friends is longer than the length defined in the table. Table: 65535, Data: 141598

Answer 1

否，VARCHAR data type的最大长度为65535字节，这是Redshift能够存储的最长数据类型。请注意，长度以字节为单位，而不是以字符为单位，因此，实际存储的字符数取决于其字节长度。

如果数据已经是镶木地板格式，则可能根本不需要将该数据加载到Redshift表中，而是可以在其上创建Spectrum external table。外部表定义将仅支持VARCHAR定义65535，与普通表相同，并且针对该列的任何查询都将无提示地截断超出该长度的其他字符-但是原始数据将保留在镶木地板文件中，并且可能由其他方式（如果需要）。