Scrapy从函数中获取文本()

时间:2017-09-16 22:17:42

标签: scrapy

我想在功能上获得branchId但不能。你对如何从一个函数有所了解吗?

item["branchId"] = row.xpath('//div[@class="branchprofile"]//script/text()').extract()[0]

HTML代码:

<div id="branchprofile">
<script>
(function(k,v){RMVH.ANALYTICS.DataLayer.pushKV(k,v);}('branch',{"branchId":5112345,"companyName":"KLM","brandName":"London KLM",,"pageType":"Standard"})); </script>

2 个答案:

答案 0 :(得分:0)

您正在使用[1, 2] 使用@class

@id

答案 1 :(得分:0)

您需要在xpath上使用re方法而不是extract。提取将只提供文本

item['branchId'] = response.xpath("//div[@id='branchprofile']/script/text()").re('branchId":\s*(\d+)')[0]