Scrapy：如何开始从使用Javascript的搜索结果中抓取数据

Question

我是新手，使用scrapy和python 我想开始从搜索结果中抓取数据，如果您要加载页面，则会显示默认内容，我需要抓取的是经过过滤的页面，同时进行分页？

这是网址 https://teslamotorsclub.com/tmc/post-ratings/6/posts 我需要从“时间过滤器”中抓取该项目：“今天”结果

我尝试了不同的方法，但是没有一个起作用。

我所做的就是这个，但是更多关于布局结构。

class TmcnfSpider(scrapy.Spider):
name = 'tmcnf'
allowed_domains = ['teslamotorsclub.com']
start_urls = ['https://teslamotorsclub.com/tmc/post-ratings/6/posts']

def start_requests(self):
    #Show form from a filtered search result

def parse(self, response):

    #some code scraping item

#Yield url for pagination

Answer 1

要获取今日过滤器的信息，您需要将请求请求和有效载荷一起发送到该URL error: package com.*.* does not exist error: package R does not exist 。以下内容将为您带来您感兴趣的结果。

https://teslamotorsclub.com/tmc/post-ratings/6/posts