Julia-读取大文件的并行性

Question

在Julia v1.1中，假设我有一个非常大的文本文件（30GB），并且我希望并行处理（多线程）来读取每一行，该怎么办？

此代码是在检查Julia's documentation on multi-threading之后尝试执行的操作，但根本无法正常工作

check[0].equals("Hello")

注意1：您需要open("pathtofile", "r") do file # Count number of lines in file seekend(file) fileSize = position(file) seekstart(file) # skip nseekchars first characters of file seek(file, nseekchars) # progress bar, because it's a HUGE file p = Progress(fileSize, 1, "Reading file...", 40) Threads.@threads for ln in eachline(file) # do something on ln u, v = map(x->parse(UInt32, x), split(ln)) .... # other interesting things update!(p, position(file)) end end （我希望我的代码在读取文件的同时显示进度条）

注2：nseekchars是一个整数，我想在文件的开头跳过的字符数

注3：代码可以正常工作，但是在for循环旁边没有using ProgressMeter宏的情况下不会进行并行处理

Answer 1

要获得最大的I / O性能：

1. 并行化硬件-使用磁盘阵列而不是单个驱动器。尝试搜索突袭性能以获得许多出色的解释（或问一个单独的问题）

2. 使用Julia memory mapping机制

s = open("my_file.txt","r")
using Mmap
a = Mmap.mmap(s)

1. 具有内存映射后，并行进行处理。注意线程false sharing（取决于您的实际情况）。