如何使用大型TSV文件

Question

我有一个5GB + TSV文件。我需要可视化它包含的数据，但Excel无法打开文件（显然太大了）。 Tableau不适用于TSV文件，Access也不适用。我尝试使用010 Editor，它可以打开文件，但不能以有用的格式导出它。如何打开/导出/转换它？

Answer 1

之前我遇到过这个问题。麻烦的是，为了在Excel中打开文件，通常需要将整个文件加载到内存中。当文件为50或500k时这很好，但是当它为5GB时，系统无法将其加载到内存中。

为了处理那么多数据，您确实需要将其加载到数据库中并对其运行查询。数据库经过优化，可以处理大量数据（甚至超过5GB）。

棘手的部分是将这些数据加载到数据库中。您需要一个可以解析文件的程序（逐行读取）并将每个TSV值插入相应的数据库列。编写应用程序来自己做这件事可能是最好的。如果您是Windows用户，可以使用C＃（http://www.microsoft.com/visualstudio/eng/products/visual-studio-2010-express）和MSSQL Express（http://www.microsoft.com/en-us/download/details.aspx?id=29062）。这是一个有用的解析资源（Modify CSV Parser to work with TSV files C#）。这是一个用于将行插入MSSQL（How to insert data into SQL Server）

的资源

Answer 2

同意Dan的意见，此类数据应加载到数据库中并在数据库上运行查询。一种方便的工具是DB Browser for SQLite。您可以将csv，tsv文件作为表格导入其中，并在其上运行SQL查询。它使用sqlite下划线并支持大多数SQL函数。在Mac和Windows上也可以使用。