AWS ec2增加负载处理

Question

我的代码使用Python REQUESTS库中的GET命令从API中提取数据。我期待，例如，10个大文件发送给我。

有人可以帮我解释一下我的代码是如何编写的，我可以将1个文件分析并分析，然后并行处理另一个文件来分析等等吗？是否有可能同时分析所有10个？

Answer 1

首先，这不是关于AWS和EC2的问题。

假设您不想过于重写代码，您可能希望同时运行Python程序的许多实例，每个实例都使用不同的输入文件作为参数。

假设典型的工作流程为：

python blah.py inputfile.xyz

您现在可以运行以下内容：

python blah.py inputfile1.xyz &
python blah.py inputfile2.xyz &
...
python blah.py inputfileN.xyz &
wait

注意：这是懒惰的出路。最佳解决方案需要重写代码以进行多线程处理，并分析各种资源限制。

您运行的进程数应受EC2实例提供的vCPU数量的限制。

就多个并行下载而言，您可能还会受到网络带宽的限制。最后，一些EC2实例具有突发限制，之后它们表现得非常差。