因此,我正在Pentaho Data Integration中使用文本文件输入步骤将行加载到数据库中。我需要为每行创建一个唯一的ID,以便以后在转换中可以识别重复项。我试图通过将3列合并为一列来创建ID,但是由于文件的生成方式,有些行始终是相同的。我确实有“真实”重复项,因此很难分别识别它们。还有没有其他方法可以识别每一行,以便我可以将其设置为主键并避免重复?
谢谢!
答案 0 :(得分:0)
如果您的问题不是唯一的行,那么请使用“内存分组依据”进行标识,并使用分组条件并且不要指定加法函数。识别出唯一的行后,为其分配一个序列,瞧!!