Question

任何人都可以向我提供一些关于如何从非常大的文件的块中异步写入的指导，每个文件在多个集群（8-500）中使用相同的函数进行处理。该文件大约为25 GB，因此太大而无法放入内存中。

我们目前正在使用'snow（fall）'和'mmap'软件包，但无法解决一些瓶颈问题。同步写入工作正常，但异步写入会更有效。

我不确定您需要哪些更多信息，但请随时问我！

Answer 1

可能你可以使用

sink("filename.any_extension")

所以使用它会在收到命令后立即在文本文件中输出结果，并进一步处理你的结果。

readLines("filename.any_extension",n=-1,warn=TRUE).

我希望这会有所帮助。