关注超链接和“过滤后的异地请求”

时间:2013-07-25 15:33:32

标签: python callback web-scraping scrapy

我知道那里有几个相关的线程,他们帮助了我很多,但我仍然无法一路走来。我正处于运行代码不会导致错误的地步,但我的csv文件中没有任何内容。我有以下Scrapy蜘蛛在一个网页上开始,然后跟随一个超链接,并抓取链接的页面:

from scrapy.http import Request
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item, Field

class bbrItem(Item):
    Year = Field()
    AppraisalDate = Field()
    PropertyValue = Field()
    LandValue = Field()
    Usage = Field()
    LandSize = Field()
    Address = Field()    

class spiderBBRTest(BaseSpider):
    name = 'spiderBBRTest'
    allowed_domains = ["http://boliga.dk"]
    start_urls = ['http://www.boliga.dk/bbr/resultater?sort=hus_nr_sort-a,etage-a,side-a&gade=Septembervej&hus_nr=29&ipostnr=2730']

    def parse2(self, response):        
        hxs = HtmlXPathSelector(response)
        bbrs2 = hxs.select("id('evaluationControl')/div[2]/div")
        bbrs = iter(bbrs2)
        next(bbrs)
        for bbr in bbrs:
            item = bbrItem()
            item['Year'] = bbr.select("table/tbody/tr[1]/td[2]/text()").extract()
            item['AppraisalDate'] = bbr.select("table/tbody/tr[2]/td[2]/text()").extract()
            item['PropertyValue'] = bbr.select("table/tbody/tr[3]/td[2]/text()").extract()
            item['LandValue'] = bbr.select("table/tbody/tr[4]/td[2]/text()").extract()
            item['Usage'] = bbr.select("table/tbody/tr[5]/td[2]/text()").extract()
            item['LandSize'] = bbr.select("table/tbody/tr[6]/td[2]/text()").extract()
            item['Address']  = response.meta['address']
            yield item

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        PartUrl = ''.join(hxs.select("id('searchresult')/tr/td[1]/a/@href").extract())
        url2 = ''.join(["http://www.boliga.dk", PartUrl])
        yield Request(url=url2, meta={'address': hxs.select("id('searchresult')/tr/td[1]/a[@href]/text()").extract()}, callback=self.parse2)

我正在尝试将结果导出到csv文件,但我得不到任何文件。但是,运行代码不会导致任何错误。我知道这是一个简单的例子,只有一个URL,但它说明了我的问题。

我认为我的问题可能是我没有告诉Scrapy我想要在Parse2方法中保存数据。

顺便说一下,我把蜘蛛当作scrapy crawl spiderBBR -o scraped_data.csv -t csv

运行

2 个答案:

答案 0 :(得分:26)

您需要修改Request中已屈服的parse以使用parse2作为其回调。

编辑:allowed_domains不应包含http前缀,例如:

allowed_domains = ["boliga.dk"]

尝试一下,看看您的蜘蛛是否仍然正常运行,而不是留下allowed_domains空白

答案 1 :(得分:2)

尝试制作此dont_filter=true

yield Request(url=url2, meta{'address':hxs.select("id('searchresult')/tr/td[1]/a[@href]/text()").extract()}, callback=self.parse2,dont_filter=True)