标签: streamsets
我有6个管道,每个管道都有连接到SDCRPC目的地的HTTP客户端,我的计划是制作另一个带有SDCRPC源和目的地的管道到hive表。
我的问题是在连接到SDCRPC源之后如何区分数据,因为每个HTTP管道都会提取与一个相同表相关的数据。
任何示例或在线资源都将受到赞赏。
答案 0 :(得分:1)
将表达式评估程序添加到6个HTTP-> SDCRPC管道中的每一个,每个管道都为记录添加不同的头属性值。现在,您的SDCRPC原始管道可以查看该头属性,以确定它来自哪个管道。