如何解析谷歌应用引擎上的大型xml文件?

时间:2010-05-21 14:04:41

标签: python xml google-app-engine sax

我有一个相当大的xml文件,大小为1mb,我在s3上托管。 我需要完全解析该xml文件到我的app引擎数据存储区。

我编写了一个简单的DOM解析器,在本地工作正常,但在线它达到30秒的错误并停止。

我尝试通过先将xml文件下载到BLOB中来降低xml解析,然后解析器再解析blob中的xml文件。问题是blob限制在1mb。所以它失败了。

我有多次插入数据存储区导致它在30秒内失败。 我在某个地方看到他们建议使用Mapper类并保存一些异常,因为进程已停止,但因为我是一个python n00b,我无法弄清楚如何在DOM解析器或SAX上实现它(请提供一个示例?)如何使用它。

我现在几乎做了一件坏事,我在应用程序引擎外部使用php解析xml并使用专有API通过HTTP post将数据推送到应用程序引擎,该API工作正常但很愚蠢并让我维护两个代码。

你能帮帮我吗?

1 个答案:

答案 0 :(得分:0)

要上传大量数据,请查看Uploading and Downloading Data帮助页。