Question

我想抓紧抓取来自网站https://www.seekingalpha.com的通话记录。

蜘蛛应具有以下行为：1）首先，提供了公司代码ccodes的列表。 2）从https://www.seekingalpha.com/symbol/A/earnings/transcripts解析每个公司的所有可用脚本URL。 3）从每个脚本网址中解析相关的内容。

困难之处在于https://www.seekingalpha.com/symbol/A/earnings/transcripts包含无限滚动机制。因此，我们的想法是分别用javascript调用的page=1,2,3..遍历json文件https://www.seekingalpha.com/symbol/A/earnings/more_transcripts?page=1。 json文件包含键html和count。密钥html用于解析脚本网址，密钥count用于在没有其他URL时停止。的条件是count=0。

到目前为止，这是我的代码。我已经成功地为每个公司代码解析了第一个json页面。但是我不知道如何遍历json文件并在没有更多URL时停止。

import scrapy
import re
import json
from scrapy.http import FormRequest
from scrapy.selector import Selector

class QuotesSpider(scrapy.Spider):

    name = "quotes"
    start_urls = ["https://seekingalpha.com/account/login"]
    custom_settings = { 'DOWNLOAD_DELAY': 2 }

    loginData = {
        'slugs[]': "",
        'rt': "",
        'user[url_source]': 'https://seekingalpha.com/account/login',
        'user[location_source]': 'orthodox_login',
        'user[email]': 'abc',
        'user[password]': 'xyz'
    }

    def parse(self, response):
        return scrapy.FormRequest.from_response(
            response = response,
            formdata = self.loginData,
            formid = 'orthodox_login',
            callback = self.verify_login
            )

    def verify_login(self, response):
        pass
        return self.make_initial_requests()

    def make_initial_requests(self):
        ccodes = ["A", "AB", "GOOGL"]
        for ccode in ccodes:
            yield scrapy.Request(
                url = "https://seekingalpha.com/symbol/"+ccode+"/earnings/more_transcripts?page=1",
                callback = self.parse_link_page,
                meta = {"ccode": ccode, "page": 1}
                )   

    def parse_link_page(self, response):
        ccode = response.meta.get("ccode")
        page = response.meta.get("page")
        data = json.loads(response.text)
        condition = "//a[contains(text(),'Results - Earnings Call Transcript')]/@href"
        transcript_urls = Selector(text=data["html"]).xpath(condition).getall()
        for transcript_url in transcript_urls:
            yield scrapy.Request(
                url = "https://seekingalpha.com"+transcript_url,
                callback = self.save_contents,
                meta = {"ccode": ccode}
                )

    def save_contents(self, response):
        pass

您应该无需身份验证即可执行代码。预期结果是对https://www.seekingalpha.com/symbol/A/earnings/transcripts中的所有URL进行了爬网。因此，必须使用page = 1,2,3..访问https://www.seekingalpha.com/symbol/A/earnings/more_transcripts?page=page，直到解析了所有可用的URL。

Answer 1

在遍历transcript_urls之后添加以下内容似乎可行。如果在当前页面上找到transcript_url，它将产生一个新请求，并带有一个对parse_link_page的回调。

        if transcript_urls:
            next_page = page + 1
            parsed_url = urlparse(response.url)
            new_query = urlencode({"page": next_page})
            next_url = urlunparse(parsed_url._replace(query=new_query))
            yield scrapy.Request(
                url=next_url,
                callback=self.parse_link_page,
                meta={"ccode": ccode, "page": next_page},
            )

用scrapy刮擦无限滚动网站

1 个答案: