流集数据收集器和HDP

时间:2019-04-05 10:29:09

标签: streamsets

我们正在尝试建立一个管道来从JDBC(源)和Hive Metastore(目标)中读取数据

在设置的“常规”选项卡==>舞台库中,我们选择Hive 2.1-HDP 2.6.2 1-1(因为它没有与我们的版本匹配)

我们具有以下配置

1)HDP :: 3.0.1

2)蜂巢:3.1

3)SDC:3.8.0

JDBC表中只有一条记录。

在预览模式下或运行管道后出现以下错误:

  

com.streamsets.pipeline.api.base.OnRecordErrorException:HIVE_17-   元数据记录中缺少或无效的信息类型:   Record [headers ='HeaderImpl [select * from运输WHERE event_id

     
    

$ {offset}按event_id; :: rowCount:0:1]'data ='Field [LIST_MAP:{event_id = Field [INTEGER:1] ,,     order_id = Field [INTEGER:123],event_type = Field [STRING:SHIPPED]}]']

  
at com.streamsets.pipeline.stage.destination.hive.HiveMetastoreTarget.write(HiveMetastoreTarget.java:200)[enter image description here][1]

0 个答案:

没有答案