Python scrapy xpath无法访问数据

时间:2017-01-26 12:27:47

标签: python html xpath web-scraping scrapy

我是scrapy的新手,我正在尝试从网页上收集图片网址,这些图片位于幻灯片中,我尝试在Firefox上查找带有firebug的img标签xpath时没有问题检索scrapy项目或scrapy shell中的数据,我似乎无法达到它。

此外,获取所有img标签src属性文本的xpath不会返回它们。

Firebug检索到xpath:

/html/body/form/div[3]/div[3]/main/div/article/section[1]/div/div/div/div[1]/div[1]/div[1]/img

Img标签格式:

<img class="some class" scr="data I need" style="some style">

我尝试了什么:

  1. 检索所有具有src的img标签

    response.xpath( '// IMG / @ SCR')。提取物()

  2. 获取特定标签:

    response.xpath('// img [@ class =“some class”] / @ src')。extract()

  3. 我认为它与表单标签有关(尽管我没有从表单标签或它的孩子那里获取athor数据的问题)所以我尝试使用scrapy的表单请求。

    有人可以解释我应该尝试什么方法吗?表格请求我正在寻找什么,如果没有,还有什么可以导致这个?

0 个答案:

没有答案