处理500k +请求的最佳做法

时间:2017-07-17 14:32:45

标签: multithreading python-3.x api dataset flask-restplus

我几天前完成了我的第一个Python RESTful API(带Flask RESTPlus),我写了一个小程序来测试它:

if __name__ == '__main__':
with open('dataset.csv') as dataset:
    reader = csv.DictReader(dataset)
    nb_requests = 0
    for row in reader:
        data = json.dumps(row)
        nb_requests += 1
        requests.post(url=url, data=data, headers=header)

问题如下:

我有一个非常庞大的CSV数据集需要测试(500k +行),我需要为其中的每一行向我的API发出POST请求。

正如预期的那样,它很慢,因为这两个程序是同步的,我想知道什么是使它更快的最佳做法?

我读过关于多线程,多处理,asyncio ......但实际上我并不知道什么是最好的解决方案,以便更快地使API和我的测试程序。有什么建议吗?

谢谢你的灯!

0 个答案:

没有答案