在线环境中运行Python Scrapers和Database

时间:2013-06-03 22:54:51

标签: python database phpmyadmin web-scraping storage

我希望这个问题不是愚蠢的,但我是初学者,我很难找到我需要的好建议。

我运行python webscrapers,从多个平台抓取数据。到目前为止,整个系统在我的Mac上本地运行。因为我将旅行,需要检查我的刮刀的一致性,每天运行至少一个月,我需要找到另一种解决方案。

我的要求是: *存储MySQL数据库(希望使用PhPMyAdmin进行管理) * Python Scrapers的强大处理能力 *可以安装必要的Python模块 *可以随时访问数据,并可以创建数据转储

我已经找到了像AktiveState(http://www.activestate.com/)或PiCloud(http://www.picloud.com/)这样的提供者。它们似乎是处理代码的解决方案。 有人有经验吗?

有人可以给我一个可以与这些平台通信的良好存储空间吗?

由于我是初学者,我真的需要一些易于使用的东西。谢谢!

1 个答案:

答案 0 :(得分:0)

我通常使用Amazon Web Services,Heroku或Google App Engine,但您的选择取决于您的专业水平和成本基础。

Heroku是最容易使用但成本最高的,其次是GAE,然后AWS是最难使用但最便宜的。