Question

我是新手，尝试抓取包含多个链接的页面。我还想跟踪并从该页面上抓取内容，并且从该页面上还有一个我要抓取的链接。

我在shell上尝试了该路径，但仍然有效，但我不知道我在这里缺少什么。我希望能够通过跟踪链接来浏览两个页面。我尝试通读教程，但我不太明白我在这里缺少什么。

这是我的items.py文件。

import scrapy

# item class included here 
class ScriptsItem(scrapy.Item):
    # define the fields for your item here like:
    link = scrapy.Field()
    attr = scrapy.Field()

这是我的scripts.py文件。

import scrapy
import ScriptsItem


class ScriptsSpider(scrapy.Spider):
    name = 'scripts'
    allowed_domains = ['https://www.imsdb.com/TV/Futurama.html']
    start_urls = ['http://https://www.imsdb.com/TV/Futurama.html/']
    BASE_URL = 'https://www.imsdb.com/TV/Futurama.html'

    def parse(self, response):
        links = response.xpath('//table//td//p//a//@href').extract()
        for link in links:
            absolute_url = self.BASE_URL + link
            yield scrapy.Request(absolute_url, callback=self.parse_attr)

    def parse_attr(self, response):
        item = ScriptsItem()
        item["link"] = response.url
        item["attr"] = "".join(response.xpath("//table[@class = 'script-details']//tr[2]//td[2]//a//text()").extract())
        return item

Answer 1

替换

import ScriptsItem

到

from your_project_name.items import ScriptsItem

您的项目名称-您的项目名称

如何链接items.py和我的蜘蛛文件？

1 个答案: