用于定位Google云端存储的BlobstoreLineInputReader相当于什么?

时间:2015-06-18 07:47:51

标签: python google-app-engine mapreduce pipeline

这是一个python appengine问题,mapreduce库1.9.21。

我有代码在本地blobstore中为blob写行,然后使用mapreduce BlobstoreLineInputReader处理它。

鉴于文件api正在消失,我想我会将所有处理重新定位到云存储。

我希望找到一个名为GoogleCloudStorageLineInputReader的类,但是没有类似的东西。它隐藏在某个地方吗?

有什么方法可以使用GoogleCloudStorageInputReader读取行吗?

另一种可能性是使用GoogleCloudStorageRecordInputReader,但为此我的输入文件需要采用LevelDB格式,除了使用GoogleCloudStorageConsistentRecordOutputWriter之外我不知道如何创建,我不知道如何在外面使用mapreduce上下文。我怎么能这样做?

或者我这样做是错的,还有其他一些我错过的可能吗?

1 个答案:

答案 0 :(得分:1)

起初,我尝试过thinkjson的CloudStorageLineInputReader但没有成功。

然后我找到了this pull request ...这导致我rbruyere's fork。尽管有一些linting问题(比如GoolgeCloudStorageLineInputReader上的拼写),但是在拉取请求的底部,提到它工作正常,并询问是否需要接管项目。

希望有所帮助!