如何使用Boto3将大文件分成小块并并行加载到Dynamodb中

Question

如何将大文件（假设500万条记录）分割成小块（假设每个块可能具有10万条记录）并使用Boto3并行加载到Dynamodb中。

使用boto3是否有可能，目前我对此有一些要求。任何指导或示例代码都会有很大帮助。

谢谢。

Answer 1

您可以这样做：

tot_lines = 100000

with open('myfile.txt') as f:
    fout = open('out0.txt','wb')
    for c,i in enumerate(f):
      fout.write(i)
      if (c+1)%tot_lines == 0:
        fout.close()
        fout = open('out%d.txt'%(c/tot_lines+1),'wb')
    fout.close()

这将创建n个文件，其中每个文件将具有100k个记录。然后，您可以按照自己的方式加载它们。