Question

几天前，我发布了一个类似的问题，但没有任何代码，现在我创建了一个测试代码，以期寻求帮助。

代码位于底部。

我得到了一些数据集，其中有一堆大文件（〜100个），我想从这些文件中高效地提取特定行（包括内存和速度）。

我的代码获取相关文件的列表，代码使用[第1行]打开每个文件，然后使用[第2行]将文件映射到内存，此外，对于每个文件，我都会收到一个索引列表并遍历索引我按如下方式检索相关信息（此示例为10个字节）：[第3-4行]，最后我用[第5-6行]关闭了句柄。

binaryFile = open(path, "r+b")
binaryFile_mm = mmap.mmap(binaryFile.fileno(), 0)
for INDEX in INDEXES:
    information = binaryFile_mm[(INDEX):(INDEX)+10].decode("utf-8")
binaryFile_mm.close()
binaryFile.close()

此代码并行运行，每个文件具有数千个索引，并连续数小时连续数小时进行操作。

现在有问题--当我将索引限制为较小时，代码运行良好（意思是-当我要求代码从文件开头获取信息时）。但！当我增加索引范围时，一切都会减慢（几乎）停止，并且buff / cache内存已满（我不确定内存问题是否与减速有关）。

所以我的问题是，为什么从文件的开头或结尾检索信息有什么关系？如何克服这一点，以便在不减慢和增加增益的情况下从文件结尾立即访问信息？ /缓存内存使用。

PS-一些数字和大小：因此我得到了约100个文件，每个文件的大小约为1GB，当我将索引限制为文件的0％-10％时，它运行良好，但是当我允许索引为在文件停止运行的任何位置。

代码-在Linux和Windows上使用python 3.5进行了测试，需要10 GB的存储空间（创建3个文件，每个文件的随机字符串在3GB之内）

import os, errno, sys
import random, time
import mmap



def create_binary_test_file():
    print("Creating files with 3,000,000,000 characters, takes a few seconds...")
    test_binary_file1 = open("test_binary_file1.testbin", "wb")
    test_binary_file2 = open("test_binary_file2.testbin", "wb")
    test_binary_file3 = open("test_binary_file3.testbin", "wb")
    for i in range(1000):
        if i % 100 == 0 :
            print("progress -  ", i/10, " % ")
        # efficiently create random strings and write to files
        tbl = bytes.maketrans(bytearray(range(256)),
                          bytearray([ord(b'a') + b % 26 for b in range(256)]))
        random_string = (os.urandom(3000000).translate(tbl))
        test_binary_file1.write(str(random_string).encode('utf-8'))
        test_binary_file2.write(str(random_string).encode('utf-8'))
        test_binary_file3.write(str(random_string).encode('utf-8'))
    test_binary_file1.close()
    test_binary_file2.close()
    test_binary_file3.close()
    print("Created binary file for testing.The file contains 3,000,000,000 characters")




# Opening binary test file
try:
    binary_file = open("test_binary_file1.testbin", "r+b")
except OSError as e: # this would be "except OSError, e:" before Python 2.6
    if e.errno == errno.ENOENT: # errno.ENOENT = no such file or directory
        create_binary_test_file()
        binary_file = open("test_binary_file1.testbin", "r+b")




## example of use - perform 100 times, in each itteration: open one of the binary files and retrieve 5,000 sample strings
## (if code runs fast and without a slowdown - increase the k or other numbers and it should reproduce the problem)

## Example 1 - getting information from start of file
print("Getting information from start of file")
etime = []
for i in range(100):
    start = time.time()
    binary_file_mm = mmap.mmap(binary_file.fileno(), 0)
    sample_index_list = random.sample(range(1,100000-1000), k=50000)
    sampled_data = [[binary_file_mm[v:v+1000].decode("utf-8")] for v in sample_index_list]
    binary_file_mm.close()
    binary_file.close()
    file_number = random.randint(1, 3)
    binary_file = open("test_binary_file" + str(file_number) + ".testbin", "r+b")
    etime.append((time.time() - start))
    if i % 10 == 9 :
        print("Iter ", i, " \tAverage time - ", '%.5f' % (sum(etime[-9:]) / len(etime[-9:])))
binary_file.close()


## Example 2 - getting information from all of the file
print("Getting information from all of the file")
binary_file = open("test_binary_file1.testbin", "r+b")
etime = []
for i in range(100):
    start = time.time()
    binary_file_mm = mmap.mmap(binary_file.fileno(), 0)
    sample_index_list = random.sample(range(1,3000000000-1000), k=50000)
    sampled_data = [[binary_file_mm[v:v+1000].decode("utf-8")] for v in sample_index_list]
    binary_file_mm.close()
    binary_file.close()
    file_number = random.randint(1, 3)
    binary_file = open("test_binary_file" + str(file_number) + ".testbin", "r+b")
    etime.append((time.time() - start))
    if i % 10 == 9 :
        print("Iter ", i, " \tAverage time - ", '%.5f' % (sum(etime[-9:]) / len(etime[-9:])))
binary_file.close()

我的结果：（从文件中获取信息的平均时间比从一开始就获取信息的速度慢了将近4倍，在使用约100个文件和并行计算的情况下，这种差异变得更大了）

Getting information from start of file
Iter  9         Average time -  0.14790
Iter  19        Average time -  0.14590
Iter  29        Average time -  0.14456
Iter  39        Average time -  0.14279
Iter  49        Average time -  0.14256
Iter  59        Average time -  0.14312
Iter  69        Average time -  0.14145
Iter  79        Average time -  0.13867
Iter  89        Average time -  0.14079
Iter  99        Average time -  0.13979
Getting information from all of the file
Iter  9         Average time -  0.46114
Iter  19        Average time -  0.47547
Iter  29        Average time -  0.47936
Iter  39        Average time -  0.47469
Iter  49        Average time -  0.47158
Iter  59        Average time -  0.47114
Iter  69        Average time -  0.47247
Iter  79        Average time -  0.47881
Iter  89        Average time -  0.47792
Iter  99        Average time -  0.47681

Answer 1

存在这种时差的基本原因是，您必须寻求文件中所需的位置。您离位置0越远，花费的时间就越长。

可能的帮助是，因为您知道所需的起始索引，请在该位置找到文件描述符，然后执行mmap。或者说真的，为什么首先要打扰mmap-只需从搜索位置读取所需的字节数，然后将其放入结果变量即可。

Answer 2

要确定您是否获得足够的性能，请检查可用于缓冲区/页面缓存的内存（在Linux中为free），I / O统计信息-读取次数，读取大小和持续时间（{{ 1}}；与您的硬件规格进行比较，并比较您进程的CPU使用率。

[edit]假设您从本地连接的SSD读取（高速缓存中没有所需的数据）：

在单线程中进行读取时，您应该希望批量读取50,000次会花费7秒以上的时间（50000 * 0.000150）。可能更长，因为对mmap文件的5万次访问将触发更多或更大的读取，因为您的访问未按页面对齐-正如我在另一次问答中所建议的，我将使用简单的iostat / seek而是使用read和open文件，以避免对Python缓冲的I / O进行不必要的读取。
在同时读取更多线程/进程的情况下，您可以使SSD吞吐量达到饱和（它可以完成4KB读取/秒的速度-可以在5,000到1,000,000之间的任意位置），然后单个读取将变得更加缓慢。

[/ edit]

第一个示例仅访问3 * 100KB的文件数据，因此，由于您拥有的缓存数量远远超过了缓存的可用容量，所有300KB的内容很快就会进入缓存，因此您将看不到I / O ，并且您的python进程将受CPU限制。

我有99.99％的把握，如果您测试从每个文件的最后100KB读取数据，它的性能将与第一个示例一样好-它与数据的位置无关，而与数据的大小有关数据已访问。

第二个示例访问9GB中的随机部分，因此，仅当您有足够的可用RAM来缓存所有9GB时，并且仅在将文件预加载到缓存中后，才能运行测试用例，您才能希望看到类似的性能。 I / O为零。

在实际情况下，文件不会完全位于缓存中-因此您会看到许多I / O请求以及python的CPU使用率大大降低。由于I / O的速度比缓存访问的速度慢得多，因此您应该期望此示例的运行速度更慢。

Python mmap-缓慢访问文件结尾（带有测试代码）

2 个答案: