标签： csv large-files
我有一个tsv格式的特定数据集，由选项卡分隔，这是一个大约100gb的大文本文件（大约2.55亿行）。我必须过滤和提取相关的行，以便我可以轻松地处理它们。到目前为止，我知道Excel无法处理那么多行，并且熟悉的文本编辑器无法打开或非常痛苦地使用表格。我已经尝试过LogParser，一个36分钟的查询给了我一个csv输出，但不幸的是导出的行数远低于我猜测的数据。此外，我得到一些解析错误，导出的集合中的一些列被移位。你还有其他选择吗？也许我可以以某种方式将数据转换为SQL数据库？有可能吗？