尝试使用urllib和cElementTree在Web上抓取此xml文件。我使用的是Google App Engine,但我不认为这个问题与我的平台有关。
这是我的错误:
<type 'exceptions.SyntaxError'>: not well-formed (invalid token): line 1, column 25
Traceback (most recent call last):
File "/base/data/home/apps/metautoit/daily-update.353244196034914877/Start_Update.py", line 25, in main
ShoppingCar.XMLRipper().getNew()
File "/base/data/home/apps/metautoit/daily-update.353244196034914877/updatecars/sitecrawlers/ShoppingCar.py", line 24, in getNew
for carDict in newCars:
File "/base/data/home/apps/metautoit/daily-update.353244196034914877/updatecars/sitecrawlers/ShoppingCar.py", line 67, in _iter_carDicts_in_xml
tree = self.get_xml()
File "/base/data/home/apps/metautoit/daily-update.353244196034914877/updatecars/sitecrawlers/ShoppingCar.py", line 63, in get_xml
return ET.parse(req, parser=parser)
File "<string>", line 45, in parse
File "<string>", line 28, in parse
xml文件很长,但这是一个示例:
<?xml version="1.0" encoding="windows-1252"?><veicoli>
<veicolo>
<id><![CDATA[16529]]></id>
<link><![CDATA[http://www.shoppingcar.it/auto_usate_/Chrysler_PT_Cruiser/16529.asp]]></link>
<marca><![CDATA[Chrysler]]></marca>
<modello><![CDATA[PT Cruiser]]></modello>
<versione><![CDATA[2.4 L]]></versione>
<provincia><![CDATA[Padova]]></provincia>
<anno><![CDATA[2006]]></anno>
<mese><![CDATA[4]]></mese>
<chilometri><![CDATA[26000]]></chilometri>
<cilindrata><![CDATA[]]></cilindrata>
<potenza><![CDATA[143]]></potenza>
<alimentazione><![CDATA[Benzina]]></alimentazione>
<cambio><![CDATA[Cambio Automatico]]></cambio>
<colore><![CDATA[nero]]></colore>
<prezzo><![CDATA[14900]]></prezzo>
<immagine><![CDATA[http://www.shoppingcar.it/public/Auto%20Usate/Berline/imagesadv/16529_2.jpg]]>
</immagine>
</veicolo>
</veicoli>
我的(简化)代码如下所示:
xml_url = "http://www.shoppingcar.it/feed/export_vel.asp?parametro=1"
req = urllib.urlopen(xml_url)
parser = ET.XMLParser(encoding="windows-1252")
tree = ET.parse(req, parser=parser).get_xml()
以下是踢球者:我下载并将其作为公共Dropbox文件上传。使用这个URL,xml解析得很好。我试过没有声明编码,并尝试了Windows-1252和utf-8编码。这真的很奇怪,因为第25列只不过是“编码”这个词的中间部分。任何帮助表示赞赏。
答案 0 :(得分:1)
我尝试了你的代码(添加了导入,以便其他人可以尝试):
#!/usr/bin/env python
import xml.etree.cElementTree as ET
import urllib
xml_url = "http://www.shoppingcar.it/feed/export_vel.asp?parametro=1"
req = urllib.urlopen(xml_url)
parser = ET.XMLParser(encoding="windows-1252")
tree = ET.parse(req, parser=parser).get_xml()
它运行得很好。如果您的错误只发生在服务器上,那么您可能在网页上达到了限制,并且正在尝试解析错误消息。因此,请确保您实际正在解析文档(例如data = req.read()
,然后转储数据并将字符串解析为xml。