Question

我正在生成约100万个文本文件，其中包含双打数组，制表符分隔符（这些是用于研究的模拟）。示例输出如下。我希望每百万个文本文件大约为5 TB，这是不可接受的。所以我需要压缩。

但是，我的所有数据分析都将在matlab中完成。每个matlab脚本都需要访问所有这些文本文件。我无法使用C ++解压缩整个百万，然后运行matlab脚本，因为我缺乏高清空间。所以我的问题是，是否有一些非常简单，易于实现的算法或其他方法来减少我的文本文件大小，以便我可以用C ++编写压缩并在matlab中读取它？

示例文本文件

0.0220874   0.00297818  0.000285954 1.70E-05    1.52E-07
0.0542912   0.00880725  0.000892849 6.94E-05    4.51E-06
0.0848582   0.0159799   0.00185915  0.000136578 7.16E-06
0.100415    0.0220033   0.00288016  0.000250445 1.38E-05
0.101889    0.0250725   0.00353148  0.000297856 2.34E-05
0.0942061   0.0256  0.00393893  0.000387219 3.01E-05
0.0812377   0.0238492   0.00392418  0.000418365 4.09E-05
0.0645259   0.0206528   0.00372185  0.000419891 3.23E-05
0.0487525   0.017065    0.00313825  0.00037539  3.68E-05

如果重要..完整的文本文件代表联合概率质量函数，因此它们总和为1.我需要无损压缩。

UPDATE 这是一个IDIOTS指南，用于在C ++中编写二进制文件并阅读Matlab，并提供了一些非常基本的解释。

将小数组写入二进制文件的C ++代码。

#include <iostream>
using namespace std;
int main()
{
    float writefloat;
    const int rows=2;
    const int cols=3;
    float JPDF[rows][cols];
    JPDF[0][0]=.19493;
    JPDF[0][1]=.111593;
    JPDF[0][2]=.78135;
    JPDF[1][0]=.33333;
    JPDF[1][1]=.151535;
    JPDF[1][2]=.591355;

JPDF是一个float类型的数组，我保存了6个值。这是一个2x3阵列。

    FILE * out_file;
    out_file = fopen ( "test.bin" , "wb" );

说实话，我不太了解第一线的作用。它似乎是一个名为out_file的FILE类型的指针。第二行fopen表示创建一个用于写入的新文件（第二个参数的'w'），并使其成为二进制文件（wb的'b'）。

    fwrite(&rows,sizeof(int),1,out_file);
    fwrite(&cols,sizeof(int),1,out_file);

这里我编码我的数组的大小（＃rows，＃cols）。请注意，我们写入变量行和列的引用，而不是变量本身（＆amp;是ref）。第二个参数告诉它要写入多少字节。由于行和列都是int，我使用sizeof（int）。 '1'表示这样做1次。我认为。 out_file是我们写入文件的指针。

    for (int i=0; i<3; i++)
    {
        for (int j=0; j<2; j++)
        {
            writefloat=JPDF[j][i];
            fwrite (&writefloat , sizeof(float), 1, out_file);
        }
    }
    fclose (out_file);

return 0;
}

现在我将遍历我的数组并将每个值以字节为单位写入我的文件。索引有点向后看，我在每个列中迭代而不是在内循环中的列上。我们会在一秒钟内看到原因。我再次编写对writefloat的引用，它在每次迭代中获取当前数组元素的值。由于每个数组元素都是一个浮点数，我在这里使用sizeof（float）而不是sizeof（int）。

只是令人难以置信，愚蠢地清楚，这是我如何看待我们刚刚创建的文件的图表。

[4 bytes: rows][4 bytes: cols][4 bytes: JPDF[0][0]][4 bytes: JPDF[1][0]] ...
[4 bytes: JPDF[1][2]]

..其中每个字节块以二进制（0和1）写入。

在MATLAB中解释：

FID=fopen('test.bin');
sizes=fread(FID,2,'int')

FID类似于指针。偷偷地说，它可能是一个指针。然后我们使用与C ++ fread非常相似的fread。 FID是我们文件的“指针”。 'int'告诉函数每个块包含多少字节。所以sizes=fread(FID,2,'int')说'用二进制打开FID，读取2个大小为INT字节的块，然后以向量形式返回2个元素。现在，sizes（1）= rows，size（2）= cols。

s=fread(FID,[sizes(1) sizes(2)],'float')

下一部分对我来说并不完全清楚，我想我必须告诉fread跳过包含row / col信息的二进制文件的'header'。但是，它秘密地保持指向你离开的地方的指针。所以现在我清空二进制文件的其余部分，使用我知道数组维度的事实。注意，虽然第二个参数[M，N]是[rows，cols]，但fread以“列顺序”读取，这就是我们按列顺序写入数组数据的原因。

如果C ++程序的体系结构与matlab一致（例如，两者都是64位，或者两者都是32位），我认为我只能使用matlab代码'int'和'float'。。但我不确定这一点。

输出结果为：

sizes =

     2
     3

s =

         0.194930002093315         0.111593000590801         0.781350016593933
         0.333330005407333         0.151535004377365          0.59135502576828

Answer 1

要做到每个数字超过四个字节，您需要确定您需要这些数字的精度。由于它们是概率，它们都在[0,1]中。您应该能够将精度指定为2的幂，例如您需要知道每个概率在实际的2 ^-n之内。然后你可以简单地将每个概率乘以2 ⁿ，舍入到最接近的整数，并且只存储该整数中的 n 位。

在最糟糕的情况下，我可以看到每个概率从未显示超过六位数。因此，假设在小数点之后有一个固定的固定精度，则可以将它们编码为20位。将每个概率乘以2 ²⁰（1048576），舍入，并将20位写入文件。每个概率需要2.5个字节。这小于浮点值的四个字节。

无论哪种方式都小于示例文件中每个值11.3字节的平均值。

如果可以利用数据中的已知模式，甚至可以获得更好的压缩效果。假设有任何。我在你的例子中看到，在每一行上，每一步的值都会下降一些因素。如果这是真实的而不仅仅是示例生成的工件，那么您可以连续为每个样本使用更少的位。此外，如果第一个样本实际上总是小于1/8，那么您可以将前三个位从该位上删除，因为这些位始终为零。如果第二列始终小于1/32，则可以将所有这些中的前五位丢弃。等等。假设示例中的大小是所有数据集中的最大值（显然不是真的，但仅仅使用它作为说明性案例），并假设您需要在小数点后面的六位小数，我可以编码每行六个值在50位中，每个概率平均略高于一个字节。

对于最后一个压缩的smidgen，由于值加1，你没有存储最后一个值。

Answer 2

Matlab可以读取二进制文件。为什么不将文件保存为二进制而不是文本？

将每个号码保存为float只需要4个字节（如果您正在运行32位Linux），您可以使用双倍但看起来您没有使用完整的双重分辨率。根据您当前的方案，每个数字每个数字消耗一个字节的空间。你的所有数字都很容易超过4个字符长，有些只有10个字符。实施此更改应将文件大小减少50％以上。

此外，您可以考虑使用更为优雅的数据格式，例如HDF5 (more here) supports compression和supported by matlab

<强>更新：

C ++中有很多examples个write binary文件，只是google它。另外，要在Matlab中读取二进制文件，只需使用fread

将数字表示为ascii与binary之间的区别非常简单。所有文件都是使用二进制文件编写的，区别在于如何解释信息。通常使用ASCII读取文本文件，这提供了8位字和字符之间的良好映射。当您看到像"255"这样的字符串时，您所拥有的是一个字节数组，其中每个字节对数组中的字符进行编码。但是，当您存储数字时，使用不同的字节存储每个数字真的很浪费。单个字节可以存储0-255之间的值。因此，当我可以使用单个字节存储值"255"时，为什么要使用三个字节来存储字符串255。

Answer 3

您可以随时使用标准库（如zlib）压缩所有内容。之后，您可以使用用C ++编写的自定义dll，将您的数据解压缩到可以管理的块中。所以基本上：数据 - ＆gt; Zip - ＆gt; Dll（由Matlab通过LoadLibrary加载） - ＆gt; Matlab的

C ++中的简单压缩算法可由matlab解释

3 个答案: