Python web scraper,json输出,框架,服务器

时间:2016-12-19 12:13:04

标签: python web-scraping

我想创建python web scraper来为我获取和格式化一些数据并以json格式输出,以便其他网页可以访问它。我想把这项服务放在那里的一些免费的python主机上。

因为这是我的第一个python项目,所以我有一些问题。

  1. 我应该使用任何python Web框架吗?因为我并不是真的关心安全性(我只有几页输入)我想把它留作脚本。

  2. 我确实需要一些小型数据库。您可以为此建议哪些图书馆?

  3. python Web服务器上有cron作业吗?

  4. 免费服务器是否每隔X分钟允许网站报废?

  5. 我的linux中默认使用python 2.7。可以/我应该使用它还是应该尝试启动并运行新版本?

1 个答案:

答案 0 :(得分:1)

  1. 是的,它让生活更轻松。但是你必须检查可以在免费服务器上使用什么框架。有时您无法安装自己的模块。

  2. sqlite不需要安装。 mysqlpostgres大部分预先安装在服务器上,但您必须检查它。

  3. 大部分都是,但你必须检查一下。

  4. 某些服务器可能不允许抓取任何网站,但您必须检查它。

  5. 使用安装在服务器上的版本,因此您必须检查它。

  6. 一些免费服务器每天18小时运行页面并且每天6小时冻结页面 - 但您必须检查它。