如何将Spark中的NULL值插入Redshift?

时间:2016-06-20 22:28:28

标签: amazon-web-services apache-spark

我使用spark-csv创建了一个文件,然后我在COPY命令中使用该文件将数据加载到Redshift。根据{{​​1}}文档,Redshift值的有效文字应为NULL http://docs.aws.amazon.com/redshift/latest/dg/r_Boolean_type.html

但是,我无法让Redshift认识到这一点,为NULL值设置的正确文字值是什么,因此Redshift会在来自{{1}的NULL命令中正确识别它}}?

1 个答案:

答案 0 :(得分:2)

您可以使用COPY http://docs.aws.amazon.com/redshift/latest/dg/copy-parameters-data-conversion.html#copy-null-as

NULL AS 'NULL'语句中指定值

我建议您尝试使用spark-reshift库来加载Redshift。它会为您解决很多这些问题。 https://github.com/databricks/spark-redshift