Question

我在页面上有以下输入：

<input name="ct99" value="" id="ct99" class="GetData" type="submit">
<input name="ct92" value="" id="ct92" class="GetData" type="submit">
<input name="ct87" value="" id="ct87" class="GetData" type="submit">

类GetData显示一些可点击的图标。点击它时会打开新页面。一些JavaScript负责它。我该怎么做？

我已经尝试过以下代码，看看scrapy是否遵循输入，但没有成功。

def parse(self, response):
    sel = Selector(response)

    links = sel.xpath("//input[@class='GetData']").extract()
    for data in links:
        yield scrapy.FormRequest.from_response(response,
            formdata={}, callback=self.after_click)


def after_click(self, response):
    url = response.url
    print '\nURL', url

Answer 1

解决问题的方法有两种：

使用浏览器开发者工具（网络标签），检查点击特定按钮时发送的请求，然后使用android.vending.expansion.zipfile或RETURN TABLE AS ...
使用selenium自动化浏览器：找到按钮并单击它，然后抓住scrapy.Request并实例化scrapy.FormRequest实例，请参阅此处的示例：
- Scrapy with Selenium crawling but not scraping
- How to use selenium along with scrapy to automate the process?

Scrapy按照javascript输入按钮

1 个答案: