Question

抱歉我的英语。我是scrapy的初学者，我需要一些指导。刮掉一些网站我遇到了问题。这是我的蜘蛛：

import scrapy
from bs4 import BeautifulSoup as bs

class SomeSiteSpider(scrapy.Spider):
    name = 'somesite'

    def start_requests(self):
        urls = [
            'http://somesite.ru/proxies/'
        ]

        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        token = response.css('input[name="xf0"]::attr(value)').extract_first()
        data = {
            'xpp': '4',
            'xf1': '4',
            'xf0': token,
            'xf2': '0',
            'xf4': '0'
        }
        yield scrapy.FormRequest(url='http://somesite.ru/proxies/', formdata=data, callback=self.parse_proxy, method='POST')

    def parse_proxy(self, response):
        page = bs(response.body, "html.parser")
        table = page.select('td[align="center"] > table[cellspacing="1"]')
        table = bs(str(table), 'html.parser')
        print(table.prettify())

我需要解析这个：

<font class="spy14">
  "200.200.200.200"
  <script type="text/javascript"></script>
  <font class="spy2">:</font>
  "8080"
</font>

但我的蜘蛛输出：

<font class="spy14">
    200.200.200.200
    <script type="text/javascript">
     document.write("<font class=spy2>:<\/font>"+(l2k1o5^f6l2)+(j0s9i9^e5z6)+(i9w3m3^s9p6)+(g7u1q7^u1j0)+(h8x4r8^n4s9))
    </script>
</font>

AJAX requests此网站上没有。

Picture of spider output

Answer 1

Scrapy不会立即执行Javascript。要完成这项工作，您需要将像PhantomJS或Splash这样的浏览器模拟集成到scrapy中。您还可以使用Selenium在真实的浏览器实例中呈现Javascript，尽管这更复杂。

为了开始使用，我建议使用Splash。它有很好的文档记录，并且与scrapy一起很好地集成，因为它是由scrapy开发人员构建的。入门的一个好处是：https://github.com/scrapy-plugins/scrapy-splash

如何使用Scrapy 1.4.0从javascript中获取数据？

1 个答案: