Question

我认为我需要做的事情非常简单，但我找不到任何不仅仅专注于抓取单个域名的好资源。

我有一个大约9,000个域名的列表。对于他们每个人，我必须检查我的网站的链接是否存在于他们的域中的任何位置。基本上，我需要从该列表中链接回我网站的网站列表。因此，虽然URL的输入是9,000，但我的代码的结果会小得多。

非常感谢任何有关如何开始这样做的提示。我已经完成了多个Scrapy教程，但这还不是我发现的信息。

编辑 - 这是我目前正在使用的蜘蛛：

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

from urllib.parse import urlparse


class JakeSpider(CrawlSpider):
    name = 'jake'
    allowed_domains = ['hivedigital.com','gofishdigital.com','quizzly.co']
    start_urls = ['http://hivedigital.com/', 'http://gofishdigital.com/', 'https://quizzly.co/']

    rules = (
        Rule(LinkExtractor(allow=()), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        #i = {}
        page = response.url
        domain = urlparse(page).netloc
        print("............", domain)
        links = response.xpath('//a/@href').extract()
        #i['name'] = response.xpath('//div[@id="name"]').extract()
        #i['description'] = response.xpath('//div[@id="description"]').extract()
        #return i
        le = LinkExtractor()
        for link in le.extract_links(response):
            if link.url == 'http://twitter.com':
                yield {'link':link,'domain': domain}

Answer 1

您可以使用LinkExtractor获取所有链接，然后只选择您真正需要的链接。

from scrapy import Spider
from scrapy.linkextractors import LinkExtractor

class MySpider(Spider):
    name = 'myspider'
    start_urls = ['http://domain1.com', 'http://domain2.com', ...]

    def parse(self, response):
        le = LinkExtractor()
        for link in le.extract_links(response):
            if link.url == 'something I want':
                # do something

如何使用Scrapy从域列表中获取所有链接？

1 个答案: