Scrapy XPath输出与浏览器不同

Question

我无法弄清楚这里有什么问题。我使用Scrapy从基本上看起来像这样的网站上获取数据：

        <li class="foo">
            <span class="date1">20 hours ago</span>

            <span class="date2">
                <span class="bar">26-06-2015</span>
            </span>
        </li>

现在，如果我在我的浏览器中选择使用XPath的第一个跨度，如$x('//li/span[1]//text()')，那么我得到预期的输出'20 hours ago'，当我在Scrapy中使用相同的表达式时，结果是相同的。

然而，当我改变表达式以取第二个日期（class="bar"），因此$x('//li/span[2]//text()')或$x('//li/span[1]/span[1]/text()')它在浏览器中工作但不在Scrapy中（结果为空数组）。

请问有什么问题？

Answer 1

仅仅将这个问题标记为差不多三年后的答案，我只是没有意识到我试图抓取的信息仅供登录的用户使用。