处理块中的大文件与否

Question

我正在处理一个包含超过一百万行（50MB +）的相当大的文本文件，然后使用SqlBulkCopy插入数据库。

所以过程是：逐行读取文件 - ＆gt;填充DataSet - ＆gt;使用SqlBulkCopy插入。

对于这个大小的文件，我应该将文件处理分成块而不是将整个文件加载到DataSet吗？例如，一次只填充DataSet个行数。