使用Google App Engine在Google云端硬盘或云存储中读取和写入大型文件

时间:2012-10-01 03:40:57

标签: google-app-engine google-drive-api google-cloud-storage

我想知道Google App Engine是否支持在Google云端硬盘或云存储中读取和写入大文件(例如,大小超过2GB的文本文件)?

我可以期待什么问题?

顺便说一句,我正在使用Python 2,7 Google App Engine SDK。


更新

我打算从Google的数据存储(或新的NDB)中读取多达一百万行数据,并将数据保存到文本文件中,以便在Google Cloud Compute或某些第三方服务(如PiCloud)上进行进一步处理。

数据基本上是一种网络关系,它是这样的:

A -> B
B -> C
A -> D

以上意味着A与B相关联,B与C相关联,A与D相连,依此类推......

由于我有超过一百万的边缘,我想我可能必须使用任务队列或cron作业来做到这一点?

所以在我处理完关系后,我会有另一个文本文件,其中包含每对节点之间的一些分数,我将写回数据库。

最诚挚的问候。

2 个答案:

答案 0 :(得分:1)

API适用于app引擎,或者我认为您可以使用REST云API。我刚刚开始这个,但这是api页面 https://developers.google.com/appengine/docs/python/googlestorage/

答案 1 :(得分:1)

是的确如此 - 问题是您打算如何编写文件?

您可以使用gsutilcreate_upload_url直接上传到云端存储,也可以使用此files API从您的应用中进行编写。

如果您正在使用文件API,那么您需要读取或写入不超过32MB的块。