几个网站的scrapy

时间:2014-08-18 11:37:05

标签: python scrapy

我正在使用scrapy抓取一些网站。在我的项目中,每个蜘蛛都有相同的代码,但是start_urls,域名和名称。(这意味着我的蜘蛛只是一般的蜘蛛,我用它来抓取每个网站。) 我的目标:

  1. 只使用一只蜘蛛(因为每只蜘蛛都有相同的代码),并动态设置start_urls,domain和name(也许我可以从数据库中获取这些信息)
  2. 运行spider并同时抓取多个网站
  3. 记录每个网站的日志,例如:网站:'www.hhhh.com'它应该有一个名为'hhhh_log'的日志文件
  4. 有人能给我一些想法吗?

0 个答案:

没有答案