Question

在scrapy爬行时是否可以访问数据？我有一个脚本找到一个特定的关键字，并在.csv中写入关键字以及找到它的链接。但是，我必须等待scrapy完成爬行，并且当它完成时它实际上输出.csv文件中的数据

我也试图随意更改我的用户代理，但它无法正常工作。如果我不允许在一个问题中提出两个问题，我会将其作为一个单独的问题发布。

＆＃13;

#!/usr/bin/env python
# -*- coding: utf-8 -*- 
from scrapy.spiders import Spider
from scrapy import log
from FinalSpider.items import Page
from FinalSpider.settings import USER_AGENT_LIST
from FinalSpider.settings import DOWNLOADER_MIDDLEWARES

import random
import telnetlib
import time
 
 
class FinalSpider(Spider):
    name = "FinalSpider"
    allowed_domains = ['url.com']
    start_urls = ['url.com=%d' %(n)
              for n in xrange(62L, 62L)]


    def parse(self, response):
        item = Page()

        item['URL'] = response.url
        item['Stake'] = ''.join(response.xpath('//div[@class="class"]//span[@class="class" or @class="class"]/text()').extract())
        if item['cur'] in [u'50,00', u'100,00']:
            return item

# 30% useragent change
class RandomUserAgentMiddleware(object):
    def process_request(self, request, spider):
        if random.choice(xrange(1,100)) <= 30:
            log.msg('Changing UserAgent')
            ua  = random.choice(USER_AGENT_LIST)
            if ua:
                request.headers.setdefault('User-Agent', ua)
            log.msg('>>>> UserAgent changed')

＆＃13;

Answer 1

您没有义务将收集的项目（也称为“数据”）输出到csv文件中，您只能运行scrapy：

scrapy crawl myspider

这会将日志输出到终端，但是为了将这些项目存储到csv文件中，我假设您正在执行以下操作：

scrapy crawl myspider -o items.csv

现在，如果您想存储日志和项目，我建议您将其放入settings.py文件中：

LOG_FILE = "logfile.log"

现在你可以看到蜘蛛在检查那个文件时运行的东西。

对于randomuseragent的问题，请查看如何激活scrapy middlewares。

Scrapy - 在抓取时访问数据并随机更改用户代理

1 个答案: