Question

我希望您能帮我编写一个抓取脚本。从Chrome浏览器中，我已经确认XPath是正确的。

我在脚本中使用XPATH选择器：

#A {
    display:flex;
    flex-flow: row wrap;
}
#B {
    flex-basis: 60%;
}
#C {
    flex-basis: 40%;
}


@media (max-width: 540px){
   #B {
        flex-basis: 100%;
        //whatever width you want in mobile view
    }

    #c {
        flex-basis: 100%;
        //whatever width you want in mobile view
    }
}

` 但是，当我尝试输出Scraped Companyname时，我的回答是“无”。我不知道为什么会这样。可能是因为.php吗？我会很感激的一切工作

Answer 1

范围从代码中的零开始，如果有意的话可以。接下来，您可以使用response.xpath('//table[3]/tbody/tr[1]/td[2]').extract()。

import scrapy

class SmSpider(scrapy.Spider):
    name = 'sm'

def start_requests(self):
    urls = []
    for i in range (1,11):
        urls.append('http://www.example.com/sm.php?a=view&recid='+str(i))
    for url in urls:
        yield scrapy.Request(url=url, callback=self.parse)

def parse(self, response):   
    companyname = response.xpath('//table[3]/tbody/tr[1]/td[2]').extract()
    print(companyname)

如果我的答案有误，请提供您希望抓取的页面的URL，以获得更好的答案。

Scrapy不输出任何内容

1 个答案: