如何从xpath抓取公司名称并在csv中获取文件

Question

i am trying to scrape yellow page by using scrapy and python getting all other result right but not getting the business name 

尝试更改xpath甚至尝试了CSS选择器，但未获得正确的结果

Answer 1

如果您谈论的是yellowpages.com，则可以使用具有以下标记的css选择器从searchresult-page刮取商家名称：'div.info .business-name span :: text'

因此，例如，您可以启动一个抓痒的外壳并转到搜索结果：

scrapy shell "https://www.yellowpages.com/search?search_terms=doctors&geo_location_terms=berlin"

然后在您的scrapy shell中键入以下内容：

response.css('div.info .business-name span::text').extract()

您现在应该会收到该特定页面的所有公司名称的列表。

但是请注意，yellowpages.com在其robots.txt中明确指出在其任何页面上都不允许刮擦。