Question

我有一个AWS Glue Job将数据从RDS表移动到Redshift。

两个表都有相同的架构：

-- RDS
CREATE TABLE my_table (
   id varchar(256) not null primary key
   col1 varchar(256) not null
) 

-- Redshift
CREATE TABLE my_table (
   id varchar(256) not null 
   col1 varchar(256) not null
) sortkey(id)

我抓取了两个模式并编写了一个简单的工作，将DynamicFrame从RDS源写入Redshift接收器。

val datasource = glueContext.getCatalogSource(
      database = "my_rds",
      tableName = "my_table",
      redshiftTmpDir = ""
    ).getDynamicFrame()

glueContext.getCatalogSink(
      database = "my_redshift",
      tableName = "my_table",
      redshiftTmpDir = "s3://some-bucket/some-path"
    ).writeDynamicFrame(datasource)

但是对于空字符串值为col1且行为

的行，作业失败

java.sql.SQLException:
Error (code 1213) while loading data into Redshift: "Missing data for not-null field"
Table name: my_table
Column name: col1
Column type: varchar(254)
Raw line: 3027616797,@NULL@
Raw field value: @NULL@

当我用glue-spark-shell调试时，我可以验证该值是否为空字符串""。

scala> datasource.toDF().filter("id = '3027616797'").select("col1").collect().head.getString(0)
res23: String = ""

如何辨别胶水以区分空字符串""和NULL？

Answer 1

在Databricks Datasource for Redshift（docs）中看起来像是一个问题（显然AWS Glue在内部使用它）。有关于这个问题的公开门票，但他们一年多没有被触及：

我已尝试过该代码，但结果完全相同：

datasource
  .toDF()
  .write
  .format("com.databricks.spark.redshift")
  .option("url", "<RS_JDBC_URL>?user=<USER>&password=<PASSWORD>")
  .option("dbtable", "my_table")
  .option("tempdir", "s3://S_PATH")
  .option("forward_spark_s3_credentials", "true")
  .save

AWS Glue DynamicFrame尝试将空字符串写为null

1 个答案: