我有一个python web-crawler，它获取信息并将其放入SQL中。现在我也有php页面，它从SQL中读取此信息并代表它。问题是：为了使爬虫程序能够正常工作，我的计算机必须全天候工作。我有简单的家用电脑 - 所以这是一个问题。是否有不同的方式来运行网络爬虫？或者我必须在我的电脑上运行它？
答案 0 :(得分：1)
如果您正在监控不断更新的页面，那么您需要在一些全天候的计算机上运行它。您可以使用cron作业或连续循环（使用某些监视）。如果您不想在家用计算机上运行它，我建议您购买免费的AWS账户。你可以得到一个EC2微实例，它允许你运行你的python脚本和一个S3数据库实例，它允许你存储信息。