将纯文本csv行转换为二进制输出

时间:2016-06-17 14:00:36

标签: php csv binary

我有大约100GB的csv文件。当我需要解析它们时,需要> 2小时使用简单的程序。我一直在考虑将纯文本转换为二进制文件:

每个整数字段都是UINT32字段。 每个字符串字段都是UINT8字段的数组。 (在我的情况下,ascii就足够了)

每行将以其长度(UINT32)填充。每个字段将以其长度(UINT32)填充。

我这样做是出于测试目的,当我将每个角色视为UINT32时,我的大小比普通的csv文件大4倍。

这是一个好主意吗?当我正确地做到这一点时,我会减少空间使用量和更快的解析时间吗?

0 个答案:

没有答案