我将首先向您展示我如何配置与AWS的连接
session = botocore.session.get_session()
config = botocore.config.Config(max_pool_connections=100)
client=session.create_client(s3, key_id, Accesskey, config) #psuedo
每次上传函数(从S3并行处理100个文件)时,我都会遇到一种奇怪的行为。我获得了良好的运行时间和内存使用量(数字并不重要)。上传该函数并调用一次后,如果我再次尝试调用它,它会开始减速并使用更多的内存。 (大约50多秒和300多亿)我很好奇这是否与我不断开连接或这种性质的东西有某种关系?每次运行后它会减慢更多,但是如果我重新上传该功能,它似乎在初始速度下没有问题。
答案 0 :(得分:0)
看起来您使用的库或代码存在内存泄漏。您可以在本地运行它并使用内存分析器进行分析,以便随着时间的推移消耗更多内存。