我正在尝试单击网站上的显示按钮,但没有成功,我真的不知道如何操作,但遇到了可能有效的方法,splash:mouse_press
。可以与scrapy-splash一起使用吗,如果可以,我应该如何实现呢?
import scrapy
from scrapy.spiders import Spider
from scrapy_splash import SplashRequest
from ..items import NameItem
class LoginSpider(scrapy.Spider):
name = "LoginSpider"
start_urls = ["http://www.starcitygames.com/buylist/"]
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formcss='#existing_users form',
formdata={'ex_usr_email': 'email@example.com', 'ex_usr_pass': 'password'},
callback=self.after_login
)
def after_login(self, response):
item = NameItem()
item["Name"] = response.css("div.bl-result-title::text").get()
return item
答案 0 :(得分:0)
欢迎来到这里(: 无需太复杂。
您需要的是GET
的{{1}}请求
好吧...当然,您可以改变参数。但是无论如何,通过此链接,您将以json格式获得所有想要的内容。
看起来实际上甚至不需要登录。
祝你好运。