Question

我有一项任务是使用随机数据创建大文件。我开始使用以下代码：

from __future__ import print_function

N=10
rand_file = open("file_name", 'w');

for i in range(1, 7000000):
  print(''.join(random.choice(string.ascii_lowercase)
                for x in range(N)),
        file=rand_file)

看看我用这个程序在磁盘上写的吞吐量，我觉得这不是最快的方法。我想创建一个100MB连续的缓冲区空间，在缓冲区中写入字符串，然后每次缓冲区填满时将其刷新到文件。如何在python中执行此操作？我查看了io.BufferedWriter，但无法理解如何使用它来写入文件。

欢迎任何建议。感谢。

Answer 1

对于它的价值，这里有一个使用BufferedWriter的例子：

import io
import random
import string

N=10
rand_file = io.FileIO("file_name", 'w')
writer = io.BufferedWriter(rand_file,buffer_size=100000000)

for i in range(1, 7000000):
  writer.write(''.join(random.choice(string.ascii_lowercase) for x in range(N)))

writer.flush()

Answer 2

您可以增加文件的缓冲区大小。默认情况下，它只有8k并且会被刷新很多。

import random
import time
import string

N = 10
count = 0

start = time.time()
with open('/tmp/xyz','wb',100*(2**20)) as f:
    for i in xrange(1,7000000):
        s = ''.join(random.choice(string.ascii_lowercase) for x in range(N))
        count += len(s)
        f.write(s)
delta = time.time() - start
print count/(2**20), 'mb', count/(delta*(2**20)), 'mbs'

这可以帮助您获得大量连续写入，这通常是一件好事，但不会对您的表现有所帮助。尝试保持random.choice（）计算，但在代码中省略打印 - 它仍然需要很长时间。你是CPU绑定的，而不是IO绑定的。

Answer 3

尝试创建一个大文件，然后快速写入它：

import random

N = 2**20

f = open('rand.txt', 'wb')
f.seek(N-1)
f.write('\0')
f.seek(0)

for i in xrange(N-1):
    f.write(chr(random.randint(32,127)))

f.close()

Answer 4

导入ascii_lower和choice代替string和random会缩短执行时间。
似乎使用with语句打开文件会导致执行时间增加。

而不是编写7000行（在我的代码中我使用了这个数字而不是7000000），最后一个代码的想法是在字符串中对多个行进行分组，然后在\n之前将它们链接起来打印文件中的这个字符串这样做，print()的呼叫次数就会降低。

要获得相同的总行数，其中有许多分组行不是总行数的除数，它需要在for循环和xrange中进行一些棘手的计算（通过看到更好的不需要的计算）代码）。

我还选择了一个缓冲区大小，以便它等于字符串分组中几行的位数，同时是1024的倍数。
文件的每一行必须包含10个字符。分组的行与\n - ＆gt;链接。它使11个字符。最后一个分组的行后面没有\n，但当print()行动时，它会添加这样一个字符`\n。因此，对于 n 分组行，分组字符串中有 n * 11个字符。作为字符== 8位，它使 n * 11 * 8 = n * 88。然后找到它很容易：它必须验证 n * 88 = buffer_size。我们只需设法将1024的buffer_size倍数和88的倍数同时设为。

修改

看起来试图调整缓冲区的大小并没有带来好处，甚至可能是一个好处！

from __future__ import print_function

from time import clock
from os.path import getsize

N=10
A,B,C,D,E,F = [],[],[],[],[],[]
repet = 20
total_lines = 7000

import random
import string
for i in xrange(repet):
  te = clock()
  rand_file1 = open("file_name1", 'w')
  for i in range(total_lines):
    print(''.join(random.choice(string.ascii_lowercase)
                  for x in range(N)),
          file=rand_file1)
  rand_file1.close()
  A.append(clock()-te)

import random
import string
for i in xrange(repet):
  te = clock()
  with open("file_name2", 'w') as rand_file2:
    for i in range(total_lines):
      print(''.join(random.choice(string.ascii_lowercase)
                    for x in range(N)),
            file=rand_file2)
  B.append(clock()-te)

import random
from string import ascii_lowercase
for i in xrange(repet):
  te = clock()
  rand_file3 = open("file_name3", 'w')
  for i in range(total_lines):
    print(''.join(random.choice(ascii_lowercase)
                  for x in range(N)),
          file=rand_file3)
  rand_file3.close()
  C.append(clock()-te)

from random import choice
from string import ascii_lowercase
for i in xrange(repet):
  te = clock()
  rand_file4 = open("file_name4", 'w')
  for i in range(total_lines):
    print(''.join(choice(ascii_lowercase)
                  for x in range(N)),
          file=rand_file4)
  rand_file4.close()
  D.append(clock()-te)

from random import choice
from string import ascii_lowercase
buffer_size = 22528
grouped_lines = buffer_size/(11*8)
for i in xrange(repet):
  te = clock()
  rand_file5 = open("file_name5", 'w') # <== no buffer's size adjusted here
  for i in range(0, total_lines, grouped_lines):
    u = '\n'.join(''.join(choice(ascii_lowercase)
                            for x in range(N))
                  for y in xrange(min(grouped_lines,total_lines-i)))
    print(u,file=rand_file5)
  rand_file5.close()
  E.append(clock()-te)

from random import choice
from string import ascii_lowercase
buffer_size = 22528
grouped_lines = buffer_size/(11*8)
for i in xrange(repet):
  te = clock()
  rand_file6 = open("file_name6", 'w', buffer_size)
  for i in range(0, total_lines, grouped_lines):
    u = '\n'.join(''.join(choice(ascii_lowercase)
                            for x in range(N))
                  for y in xrange(min(grouped_lines,total_lines-i)))
    print(u,file=rand_file6)
  rand_file6.close()
  F.append(clock()-te)

t1,t2,t3,t4,t5,t6=map(min,(A,B,C,D,E,F))
print ('1  %s\n'
       '2  %s  %.3f %%\n'
       '3  %s  %.3f %%\n'
       '4  %s  %.3f %%\n'
       '5  %s  %.3f %%\n'
       '6  %s  %.3f %%\n'
       % (t1,
          t2,t2/t1*100,
          t3,t3/t1*100,
          t4,t4/t1*100,
          t5,t5/t1*100,
          t6,t6/t1*100))


for y in xrange(880,100000,88):
  if y%1024==0:
    print('%d %% 88 == %d   %d %% 1024 == %d'
          % (y,y%88,y,y%1024))

print("\nfile_name1",getsize('file_name1'))
for fn in ("file_name2","file_name3",
           "file_name4","file_name5",
           "file_name6"):
  print(fn,getsize(fn))

结果

1  0.492455605391
2  0.503463149646  102.235 %
3  0.475755717556  96.609 %
4  0.449807168229  91.340 %
5  0.319271024669  64.832 %
6  0.334138277351  67.851 %

11264 % 88 == 0   11264 % 1024 == 0
22528 % 88 == 0   22528 % 1024 == 0
33792 % 88 == 0   33792 % 1024 == 0
45056 % 88 == 0   45056 % 1024 == 0
56320 % 88 == 0   56320 % 1024 == 0
67584 % 88 == 0   67584 % 1024 == 0
78848 % 88 == 0   78848 % 1024 == 0
90112 % 88 == 0   90112 % 1024 == 0

file_name1 84000
file_name2 84000
file_name3 84000
file_name4 84000
file_name5 84000
file_name6 84000

Answer 5

Python不一定是使用随机数据创建大文件的最简单或最快捷的方法。以下bash片段将使用随机数据创建指定长度的文件;请参阅this问题来源。

dd if=/dev/random iflag=fullblock of=$HOME/randomFile bs=1M count=1

如何在python中更快地写入文件？

5 个答案:

修改