图像使用线程

时间:2017-05-21 17:57:40

标签: multithreading python-3.x amazon-web-services amazon-s3 lambda

我在S3 Bucket中有20000张图像。我想使用AWS Lambda调整所有这些内容的大小。为此,我将下载Lambda的tmp文件夹中的图像,然后将其上传回S3

我想优化它,所以我在其中实现了线程。当我使用15个线程时,我的代码工作正常,但是当我使用超过15-16个线程时,它会产生连接池已满的问题。我想提一下,我已经明确地处理了等待已经运行的线程的终止。

我可以做些什么来优化代码?如果可以创建更多线程,那么在Lambda中创建线程的最佳方法是什么?

1 个答案:

答案 0 :(得分:2)

调用lambda方法20k次传递它需要使用的文件名...不需要等待。每个lambda调用都将处理每个文件。你可以这样拥有20k个线程。

您可以创建规则,因此当新文件在S3中时,将调用lambda方法。但第一批需要手动处理。