多线程aws功能

时间:2017-08-05 15:21:19

标签: python multithreading amazon-web-services amazon-s3

我问了一个关于在python lambda函数中创建并行进程的相关问题,我对如何解决max_pool_sizes上的特定问题更加好奇。我正在使用线程模块,简而言之,我的问题是尝试从S3访问多个文件以同时从所有文件中检索数据。目前似乎有一个max_pool_size属性阻止我得到我需要的一切。因此,我收到此错误Connection pool is full, discarding connection: s3.amazonaws.com是否有其他人遇到类似错误或有任何建议?

2 个答案:

答案 0 :(得分:1)

您可以检查ClientConfiguration类并使用setMaxConnections(int maxConnections)方法来实现此目的。看看这个链接:

答案 1 :(得分:0)

我有类似的需求,并在AWS Compute博客上找到了解决方案。我将在下面链接此线程的未来读者:

  

Parallel Processing in Python with AWS Lambda(作者:Oz Akan,2017年9月,AWS Compute博客)