Question

我正在处理非常大的bigint数字，我需要将它们写入磁盘并稍后再读回来，因为它们一次都不适合内存。

当前的Chapel实现首先将bigint转换为string，然后将string写入磁盘[1]。这对于大整数来说需要很长时间。

var outputFile = open("outputPath", iomode.cwr);
var writer = outputFile.writer();
writer.write(reallyLargeBigint);
writer.close();
outputFile.close();

有没有办法使用GMP＆＃39; mpz_out_raw() / mpz_inp_raw() [2]或mpz_export() / mpz_import() [3]或其他类似的方式来转储{{1直接将字节转换为磁盘而不事先转换为字符串，然后将字节读回bigint对象？

这对bigint数组也适用吗？

如果在当前状态下无法使用Chapel的标准库，如何才能添加此类功能？

[1] https://github.com/chapel-lang/chapel/blob/master/modules/standard/BigInteger.chpl#L346

[2] https://gmplib.org/manual/I_002fO-of-Integers.html

[3] https://gmplib.org/manual/Integer-Import-and-Export.html

Answer 1

您提到的功能在任何Chapel模块中都无法直接使用，但您可以编写extern procs and extern types直接访问GMP功能。

首先，我们需要能够使用C文件，因此为它们声明一些过程和类型：

extern type FILE;
extern type FILEptr = c_ptr(FILE);
extern proc fopen(filename: c_string, mode: c_string): FILEptr;
extern proc fclose(fp: FILEptr);

然后我们可以声明我们需要的GMP功能：

extern proc mpz_out_raw(stream: FILEptr, const op: mpz_t): size_t;
extern proc mpz_inp_raw(ref rop: mpz_t, stream: FILEptr): size_t;

现在我们可以使用它们来编写bigint值：

use BigInteger;
var res: bigint;
res.fac(100); // Compute 100!

writeln("Writing the number: ", res);

var f = fopen("gmp_outfile", "w");
mpz_out_raw(f, res.mpz);
fclose(f);

从文件中读回来：

var readIt: bigint;

f = fopen("gmp_outfile", "r");
mpz_inp_raw(readIt.mpz, f);
fclose(f);

writeln("Read the number:", readIt);

对于bigint值的数组，只需遍历它们即可写入或读取它们：

// initialize the array
var A: [1..10] bigint;
for i in 1..10 do
  A[i].fac(i);

// write the array to a file
f = fopen("gmp_outfile", "w");
for i in 1..10 do
  mpz_out_raw(f, A[i].mpz);
fclose(f);

// read the array back in from the file
var B: [1..10] bigint;
f = fopen("gmp_outfile", "r");
for i in 1..10 do
  mpz_inp_raw(B[i].mpz, f);
fclose(f);

Answer 2

<强>序言
size 数据是静态属性，但流量始终是我们有史以来最大的敌人。

＆＃34; 是否可以将这些功能添加到Chapel的标准库中？＆＃34;

目前的价格是增加几个单位，几十甚至几百个[TB] - 的RAM容量，问题是恕我直言永远不会被语言的任何扩展解决< / strong>在上面的草图方向。

为什么不呢？由于成本爆炸：

如果只花了一些时间与事实，下面的延迟图出现在一张白纸上。虽然各自的数字可能略有不同，但信息的数量级和思维过程的依赖链：

________________________________________________________________________________________ / / / ________________________________________________________ / / / / / / / xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx / / / / / / / / / / / SOMEWHAT / PRETTY / PROHIBITIVELY / / / / CHEAPEST / CHEAP / EXPENSIVE / EXPENSIVE / / / / EVER / ZONE / ZONE / ZONE / / / /___________________/. . . . . / _ _ _ _ _ _ _ _/ ! ! ! ! ! ! ! !/ / /_______________________ / / / / / / / / / in-CACHE / in-RAM / CONVERT / STORE / RE-READ / CONVERT / in-RAM / in-CACHE / in-CPU-uop / ~ + 5 [ns] | | | | | | | | + 5 [ns] | | | | | | | | | | | | | | | | | | ~ +300 [ns/kB] | | | | | | | | +300 [ns/kB] | | | | | | | | | | | | | | | | | |+VOLUME [ GB] | | | | | | | | x 100.000[ns/GB] | | | | | | | | | | | | | | | | | |+1 | | | | | | | | | x 15.000.000[ns] | | | | | | | |+VOLUME [ GB] | | | | | | | | x 3.580.000.000[ns/GB] | | | | | | | | | | | | | | | | | |+1 FIND | | | | | | | | | x 15.000.000[ns] | | | | | | | |+1 DATA | | | | | | | | | x 15.000.000[ns] | | | | | | | |+VOLUME [ GB] | | | | | | | | x 3.580.000.000[ns/GB] | | | | | | | | | | | | | | | | | |+VOLUME [ GB] | | | | | | | | x 100.000[ns/GB] | | | | | | | | | | | | | | | | | | ~ +300 [ns/kB] | | | | | | | | +300 [ns/kB] | | | | | | | | | | | | | | | | | | ~ + 5 [ns] | | | | | | | | + 5 [ns] | | | | | | | | | | | | | | | | | | ~ + 0.3 [ns/uop] | | | | | | | | + 2.0 [ns/uop]

最后但并非最不重要的，只是calculate such step's effects on << 1.0 speedup

鉴于原始处理需要 XYZ [ns] ，＆＃34;修改＆＃34;处理将采取：

XYZ [ns] : the PURPOSE + ( VOL [GB] * 300.000.000 [ns/GB] ) : + MEM/CONVERT + ( VOL [GB] * 100.000 [ns/GB] ) : + CPU/CONVERT + 15.000.000 [ns] : + fileIO SEEK + ( VOL [GB] * 3.580.000.000 [ns/GB] ) : + fileIO STORE + 15.000.000 [ns] : + fileIO SEEK / FAT + 15.000.000 [ns] : + fileIO SEEK / DATA + ( VOL [GB] * 3.580.000.000 [ns/GB] ) : + fileIO RE-READ + ( VOL [GB] * 100.000 [ns/GB] ) : + CPU/CONVERT + ( VOL [GB] * 300.000.000 [ns/GB] ) : + MEM/CONVERT _______________________________________________ 45.000.XYZ [ns] + 7.660.200.000 [ns/GB] * VOL [GB]

所以，这样会对效果产生负面影响will get damaged ( as Amdahl's Law shows ):

1 S = ------------------------------------------------------------ << 1.00 1 + ( 45.000.XYZ [ns] + 7.660.200.000 [ns/GB] * VOL[GB] )

改进bigint写入磁盘性能

2 个答案: