这是一个python appengine问题,mapreduce库1.9.21。
我有代码在本地blobstore中为blob写行,然后使用mapreduce BlobstoreLineInputReader处理它。
鉴于文件api正在消失,我想我会将所有处理重新定位到云存储。
我希望找到一个名为GoogleCloudStorageLineInputReader的类,但是没有类似的东西。它隐藏在某个地方吗?
有什么方法可以使用GoogleCloudStorageInputReader读取行吗?
另一种可能性是使用GoogleCloudStorageRecordInputReader,但为此我的输入文件需要采用LevelDB格式,除了使用GoogleCloudStorageConsistentRecordOutputWriter之外我不知道如何创建,我不知道如何在外面使用mapreduce上下文。我怎么能这样做?
或者我这样做是错的,还有其他一些我错过的可能吗?
答案 0 :(得分:1)
起初,我尝试过thinkjson的CloudStorageLineInputReader但没有成功。
然后我找到了this pull request ...这导致我rbruyere's fork。尽管有一些linting问题(比如GoolgeCloudStorageLineInputReader
上的拼写),但是在拉取请求的底部,提到它工作正常,并询问是否需要接管项目。
希望有所帮助!