Informatica CDC拒绝数据

时间:2015-09-18 03:47:59

标签: postgresql informatica cdc greenplum

我们的源代码是我们安装了Informatica CDC的oracle ERP系统,我们的目标是Greenplum表,我们将数据加载到1-1逻辑。我们以实时模式执行会话,这意味着会话将继续运行,当会话中的任何更改发生时,会话将处理并反映在目标表中。

我们收到以下数据拒绝错误。

  

2015-09-15 12:31:42:错误:(22994 | WRITER_1_ _1):( IS |   INF_EN1_ASCII):NODE_ENDEV_TNLD07879:WRT_8229:数据库错误   发生了:    FnName:Execute - [Informatica] [ODBC Greenplum Wire Protocol驱动程序] Socket关闭。 2015-09-15 12:31:42:ERROR:(22994 |   WRITER_1 _ _1):( IS | INF_EN1_ASCII):NODE_ENDEV_TNLD07879:WRT_8425   :错误:编写器执行失败。 2015-09-15 12:31:42:错误:(22994   | WRITER_1_ _1):( IS | INF_EN1_ASCII):NODE_ENDEV_TNLD07879:   WRT_8164:加载到目标[ods_oe_sales_credits]时出错:   2015-09-15 12:31:42:错误:(22994 | WRITER_1 _ _1):( IS |   INF_EN1_ASCII):NODE_ENDEV_TNLD07879:WRT_8114:   错误文件中的行#[1]

  

2015-09-15 12:31:42:INFO:(22994 | WRITER_1 _ * _ 1):( IS |   INF_EN1_ASCII):NODE_ENDEV_TNLD07879:CMN_1053 :: Rowdata :(   RowType = 1(更新)Src Rowid = 1 Targ Rowid = 1 sales_credit_id   (sales_credit_id:BigInt :):“19094”creation_date   (creation_date:Date :):“09/15/2015 03:01:27.000000000”created_by   (created_by:Double :):“1193.000000000000”last_update_date   (last_update_date:Date :):“09/15/2015 03:01:27.000000000”
  last_updated_by(last_updated_by:Double :):“1193.000000000000”
  last_update_login(last_update_login:Double :):“240638.0000000000”
  header_id(header_id:BigInt :):“27535”salesrep_id   (salesrep_id:BigInt :):“ - 3”%(百分比:双:):   “100.0000000000000”line_id(line_id:BigInt :):“(NULL)”上下文   (上下文:Char.60 :):“(NULL)”attribute1(attribute1:Char.480 :):   “(NULL)”attribute2(attribute2:Char.480 :):“(NULL)”attribute3   (attribute3:Char.480 :):“(NULL)”attribute4(attribute4:Char.480 :):   “(NULL)”attribute5(attribute5:Char.480 :):“(NULL)”attribute6   (attribute6:Char.480 :):“(NULL)”attribute7(attribute7:Char.480 :):   “(NULL)”attribute8(attribute8:Char.480 :):“(NULL)”attribute9   (attribute9:Char.480 :):“(NULL)”attribute10   (attribute10:Char.480 :):“(NULL)”attribute11   (attribute11:Char.480 :):“(NULL)”attribute12   (attribute12:Char.480 :):“(NULL)”attribute13   (attribute13:Char.480 :):“(NULL)”attribute14   (attribute14:Char.480 :):“(NULL)”attribute15   (attribute15:Char.480 :):“(NULL)”dw_update_advice_flag   (dw_update_advice_flag:Char.2 :):“(NULL)”wh_update_date   (wh_update_date:Date :):“(NULL)”orig_sys_credit_ref   (orig_sys_credit_ref:Char.100 :):“OE_SALES_CREDITS19094”
  sales_credit_type_id(sales_credit_type_id:BigInt :):“1”
  lock_control(lock_control:Double :):“1.000000000000000”
  sales_group_id(sales_group_id:BigInt :):“ - 1”
  sales_group_updated_flag(sales_group_updated_flag:Char.2 :):“(NULL)”   inst_id(inst_id:BigInt :):“(NULL)”md_source_system   (md_source_system:Double :):“1.000000000000000”flag(flag:Char.2 :):   “我”md_deleted_flag(md_deleted_flag:Char.2 :):“(NULL)”change_ts   (change_ts:Date :):“09/15/2015 03:01:42.000000000”)

     

2015-09-15 12:31:42:错误:(22994 | WRITER_1_ _1):( IS |   INF_EN1_ASCII):NODE_ENDEV_TNLD07879:WRT_8164:加载到错误   target [ods_oe_sales_credits]:错误的行超出了会话阈值   [1] 2015-09-15 12:31:42:INFO:(22994 | WRITER_1 _ _1):( IS |   INF_EN1_ASCII):NODE_ENDEV_TNLD07879:WRT_8333:回滚所有   由于致命会话错误导致的目标。 2015-09-15 12:31:42:错误:   (22994 | WRITER_1 _ * _ 1):( IS | INF_EN1_ASCII):NODE_ENDEV_TNLD07879:   CMN_1022:数据库驱动程序错误... CMN_1022 []

在检查错误文件时,不确定实际问题在哪里(信息解析器/数据库端),它表示记录因NULL问题而被拒绝

错误的文件内容:

  

1,D,19094,D,09/15/2015 03:01:27.000000000,D,1193,D,09/15/2015   03:01:27.000000000,d,1193,d,240638,d,27535,d,-3,d,100,d 11 N 11 N 11 N 11 N 11 N 11 N ,, N, ,N 11 N 11 N 11 N 11 N 11 N 11 N 11 N 11 N 11 N 11 N ,, N,OE_SALES_CREDITS19094,d,1,d,1,d,-1 ,d 11 N ,, N,1,d,I,d 11 N 09 /二千零十五​​分之一十五   03:01:42.000000000,d

但是同一会话处理其他具有空值的记录。无法理解问题究竟在哪里。

请帮助我...

1 个答案:

答案 0 :(得分:0)

我们得到了一个解决方案。 GP防火墙设置是导致长时间运行的查询失败的罪魁祸首。 GP DBA在数据库级别覆盖了此设置,现在我们所有的CDC会话都在一起运行了几天而没有失败。