Question

我有8个文件。它们中的每一个大约是1.7 GB。我正在将这些文件读入字节数组，并且该操作足够快。

然后按如下方式阅读每个文件：

BufferedReader br=new BufferedReader(new InputStreamReader(new ByteArrayInputStream(data)));

当使用单个核心按顺序处理时，需要60秒才能完成。但是，当在8个单独的核心上分配计算时，每个文件花费的时间远远超过60秒。

由于数据都在内存中并且没有执行IO操作，因此我认为每个核处理一个文件所需的时间不应超过60秒。因此，总共8个文件应该在60秒内完成，但事实并非如此。

我是否遗漏了有关BufferedReader行为的信息？或上述代码中使用的任何读者。

值得一提的是，我正在使用此代码首先上传文件：

byte[] content=org.apache.commons.io.FileUtils.readFileToByteArray(new File(filePath));

所有代码都是这样的：

For each file
 read the file into a byte[]
 add the byte[] to a list
end For
For each item in the list
 create a thread and pass a byte[] to it
end For

Answer 1

你是如何实际“分发计算”的？是否涉及同步？你只是创建8个线程来读取8个文件吗？

你在运行什么平台（linux，windows等）？我从Windows调度程序看到了看似奇怪的行为，然后才将单个进程从核心移动到核心，以尝试平衡核心之间的负载。最终导致性能降低，而不仅仅是让单个核心的利用率高于其他核心。

Answer 2

你的系统有多少内存在摇摆？

8 x 1.7GB，+操作系统开销，可能意味着虚拟内存/分页必须发挥作用。这显然比RAM慢得多。

我很感激你说每个文件都在内存中，但你真的有16GB的可用内存，还是有更多的文件在抽象级别进行？

如果上下文切换也必须不断地切换页面，这可以解释增加的时间。

多核环境中的BufferedReader

2 个答案: