我是斗志新手，我正在玩scrapy shell试图抓取这个网站：www.spiegel.de/sitemap.xml
我用
做到了scrapy shell "http://www.spiegel.de/sitemap.xml"
当我使用
时，一切正常response.body
我可以看到包含xml标签的整个页面
但是例如：
response.xpath('//loc')
根本不会工作。
我得到的结果是一个空数组
而
response.selector.re('somevalidregexpexpression')
会起作用
任何想法可能是什么原因？可能与编码有关吗？该网站不是utf-8
我在Win 7上使用python 2.7。我在另一个站点（dmoz）上尝试了xpath（），它运行正常。
答案 0 :(得分：13)
问题是由于在XML的根元素处声明的默认命名空间：
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
因此，在该XML中，根元素及其没有前缀的后代继承了相同的命名空间，隐式。
另一方面，在XPath中，您需要使用绑定到命名空间URI的前缀来引用该命名空间中的元素，而不存在隐含的默认命名空间。
您可以使用selector.register_namespace()将名称空间前缀绑定到默认名称空间URI，然后在XPath中使用前缀：
response.selector.register_namespace('d', 'http://www.sitemaps.org/schemas/sitemap/0.9')
response.xpath('//d:loc')
答案 1 :(得分：0)
您还可以将xpath与本地名称空间一起使用，例如：
response.xpath("//*[local-name()='loc']")
如果您要解析来自多个异构源的响应，并且不想注册每个命名空间，则此功能特别有用。