我正在运行火花流作业,在那里我获取自定义类型的数据。 我需要将这些数据上传到greenplum / postgress数据库中已经存在的具有相应类型的表中。
为此,我编写了一个自定义的ForEachWritter。我已经在Greenplum中创建了数据类型,并使用这些类型创建了表。我在Greenplum上运行的插入查询如下所示:
INSERT INTO test.test11(col1, col2, col3, col4) VALUES
(('s','s','s',23,'s','s','s','s','s','s','s','s'), 3, 'ds', array[null]::test.composite1[])
此处col1是复合类型,而col4是数组复合类型。 该查询在greenplum上运行,但是当我通过spark运行它时,无法说出无效的插入语句。