我有一个包含数百万条记录/行的CSV文件。标题行如下:
<NIC,Name,Address,Telephone,CardType,Payment>
在我的场景中我想加载数据“CardType”等于“VIP”。如何在不将文件中的整个记录加载到临时表的情况下执行此操作?
我没有将这些记录加载到数据仓库中。我只需要在CSV文件中分隔这些数据。
答案 0 :(得分:0)
问题不是很清楚,但听起来你想要对行进行一些处理,然后再将它们输出回另一个CSV文件。如果是这种情况,那么您将需要使用各种可用的变换,特别是条件分割。在那里,您可以查找CardType == VIP的行,并将其发送到一个输出(称为“有效行”),并将其他行发送到默认输出。将有效行输出连接到CSV目标,应该是它。