R解压缩vs system2

时间:2018-12-28 19:45:13

标签: r asynchronous unzip

我有一个代码块(由枫树调用),该代码块解压缩数百个文件,然后将每个文件加载到每个自己的表中或将文件族加载到一个表中。一个文件超过了4GB,因此我不能再使用R解压缩了。这是我所做的,但是脚本现在需要5倍的时间才能完成,这不是一个选择。 该代码是通过“ apply”调用的函数的一部分。该脚本还在多个节点中执行

我认为问题在于system2-解压缩正在同步运行。 如果删除标准输出,它应该异步运行,对吗?但是那样,它将无法加载文件,因为它将无法解压缩。

drop_duplicates

预期:同步线程仅适用于该条件,而其余文件将被异步处理。 实际上:如果影响到通过R unzip解压缩的数百个文件的处理

0 个答案:

没有答案