我正在尝试使用SSIS中的聚合功能来删除平面文件中的重复项。我有一个管道分隔的文本文件，它应该包含唯一的记录。独特的限定符是模型和年份。我每年只能有一个型号。当我尝试使用聚合时，我可以设置它来过滤这个标准，它会像我期望的那样限制记录数。但是，结果需要包含原始文件中的其他20个字段。当我在聚合函数中包含所有字段时，只要第二条记录与原始记录相同，我就可以了。我本来打算做的主要是根据模型和年份识别重复，并且不导入任何记录。理想情况下，我想将这些记录写入一个单独的表，以便我可以报告重复。虽然一步一步。如何根据记录中的2个字段识别副本，并仍将所有22个字段导入数据库？
答案 0 :(得分：0)
我会通过将平面文件中的所有记录导入临时表来完成此操作。
然后调用使用ROW_NUMBER() OVER PARTITION BY ()的存储过程来获取每个Model / Year副本的整个第一行并将其插入目标表，并使用相同的逻辑将重复项移动到重复报告表