Heroku上的Flask:对于大型POST数据,request.form非常慢?

时间:2013-02-12 00:31:45

标签: python post heroku flask gunicorn

我正在使用带有eventlet工作人员的gunicorn在Heroku上运行Flask应用程序。我的应用程序上的特定路径经常接收POST数据(x-www-form-urlencoded),其中包含一些相当粗糙的字段 - 最多为500KB。

这在本地运行时工作正常,但在Heroku上,对该路由的请求需要5到30秒才能完成 - 几乎100%的时间花在第一次访问request.form上:

t = time.time()
action = str(request.form['action'])
dt = time.time() - t  # Often 10 seconds or more!

Newrelic慢速请求跟踪也证实了这一点。数据库操作在这里或那里有几毫秒,然后在Python代码中花费了大量时间,显然花在等待某些i / o上,因为报告的CPU时间通常不到一毫秒。

我完全无法在本地环境中使用我在生产中使用的相同gunicorn / eventlet设置重现这一点。甚至内置的调试WSGI服务器对这些请求都是闪电般快速的。

有人知道可能出现什么问题吗?这是Flask的问题,还是我需要联系Heroku支持的事情?

1 个答案:

答案 0 :(得分:3)

我想我确切地知道发生了什么。 TL; DR它在服务器端实际上并不慢,我只是被Newrelic报告的响应时间误导了!

我尝试在@AllanAnderson建议的dotCloud沙箱上运行相同的代码。我首先创建了一个简化的测试用例:一个简单的HTML表单,其中一些隐藏字段预先加载了大约900KB的数据,以及一个除了从request.form字典读取之外什么都不做的视图函数,并测量每次访问所用的时间了time.time()。

在Heroku上,结果看起来像这样:

5.87100 seconds: read field "p1": 786432 bytes
0.00019 seconds: read field "p2": 131072 bytes
0.00003 seconds: read field "p3": 12288 bytes
0.00001 seconds: read field "p4": 1024 bytes

在dotCloud上:

0.00096 seconds: read field "p1": 786432 bytes
0.00019 seconds: read field "p2": 131072 bytes
0.00003 seconds: read field "p3": 12288 bytes
0.00001 seconds: read field "p4": 1024 bytes

然而,这两项测试似乎在我的浏览器中花费了相同的时间......到现在为止,您可能已经猜到了这个“问题”的真正答案。 : - )

事实证明,Heroku上的gunicorn在收到标题后立即执行了视图功能,并且第一次访问request.form被阻止,直到收到其余的请求。因此,Newrelic看到了所有这些非常慢的响应时间,这实际上只是通过糟糕的网络连接上传POST数据的结果。 dotCloud的设置显然只是等待,直到收到整个请求。

这使得Newrelic的指标不那么有用,但实际上并不是最终用户体验的问题。