Question

我已经在Spark本地安装了Alluxio，我在Alluxio的内存中插入了1000个文件然而，读取文件非常慢。 Alluxio内存的文件读取时间与磁盘的文件读取时间相等。我不明白为什么。

File Name   Size    Block Size  In-Memory   Persistence State   Pin Creation Time   Modification Time
file1   54.73KB 512.00MB     100%   NOT_PERSISTED   NO  08-16-2016 12:52:31:278 08-16-2016 12:52:31:372
file2   54.73KB 512.00MB     100%   NOT_PERSISTED   NO  08-16-2016 12:52:31:377 08-16-2016 12:52:31:384
file3   54.72KB 512.00MB     100%   NOT_PERSISTED   NO  08-16-2016 12:52:31:386 08-16-2016 12:52:31:393
file4   54.71KB 512.00MB     100%   NOT_PERSISTED   NO  08-16-2016 12:52:31:394 08-16-2016 12:52:31:400
file5   54.72KB 512.00MB     100%   NOT_PERSISTED   NO  08-16-2016 12:52:31:401 08-16-2016 12:52:31:407
...

我使用文件API读取数据：

FileSystem fs = FileSystem.Factory.get();
AlluxioURI path = new AlluxioURI(/partition0);
List<URIStatus> status = fs.listStatus(path);
for (int i=0; i<status.size(); i++)
                    {
                        path = new AlluxioURI(status.get(i).getPath());
                        if(fs.exists(path)==true)
                        {
                            FileInStream in = fs.openFile(path);
                            String file = "";

                            InputStreamReader ipsr = new InputStreamReader(in);

                            BufferedReader br=new BufferedReader(ipsr);
                            String line;
                            line=br.readLine();
                            while (line != null){
                                //System.out.println(line);

                                file = file + line;
                                line=br.readLine(); 
                            }

                            byte[] cfv = file.getBytes();
                            br.close();
                            // Close file relinquishing the lock
                            in.close();
                        }
                    }

我现在不使用Spark，因为用1000个文件读取分区的测试非常慢...（我希望将来通过分区读取文件）。

为什么使用这个方法/库读取时间这么慢？

Answer 1

在你的例子中，有几件事情看起来有点过。

首先，您在文件中显示的信息表明文件非常小，每个文件大约50 kB，但您已将Alluxio配置为使用512 MB块。这可能意味着您传输的数据远远超过实际需要的数据。因此，需要考虑的一件事是，如果您打算主要拥有小文件，那么最好配置更小的块大小。

其次，您在测试用例中实际读取文件的方式非常低效。您正在逐行读取字符串，使用字符串连接来构建文件，然后将其转换回字节。所以你要从内存中的字节到字符串然后再回到字节。另外，通过使用字符串连接，您将强制读取的整个文件到目前为止被复制到您阅读的内存技术中。

通常，您将逐行读取文件到StringBuilder /写入另一个Writer，或者将文件作为字节读入byte[] /写入另一个OutputStream 1}}例如ByteArrayOutputStream如果你想最终获得byte[]并且事先不知道尺寸。

第三个考虑因素是您的代码在群集中运行的位置。即使文件在内存中，它们也可能不在群集中每个节点的内存中。如果您从尚未在内存中的节点读取文件，则必须通过网络读取这些文件，此时性能将会降低。

最后的考虑是OS文件缓存。如果您生成了测试文件然后立即运行测试，则这些文件可能会被操作系统缓存在内存中。在这一点上，如果没有比Alluxio更好的性能，你将获得良好的性能，因为缓存是在操作系统级别。如果您真的想进行有意义的比较，那么您需要确保在运行任何基于文件的测试之前刷新操作系统文件缓存。

Answer 2

经过一些测试，文件大小是阅读时间的主要问题。小文件可以乘以20甚至更多的读取时间。块的大小也影响读取时间，它可以增加约1％的读取时间。

使用来自Alluxio的Spark java读取多个文件很慢

2 个答案: