比方说,我有成千上万的1TB文件需要插入数据库。这些文件存储在Google Cloud Storage中。如何创建将这些文件保存到数据库的函数?我的理解是,Cloud Functions的大小限制为2GB(内存),因此将数据从GCS通过Cloud Function“流”到我的数据库中的方式将是什么?这是我通常的做法:
with open('1TBFile.csv', 'r') as f:
for line in f:
self.cursor.execute('insert into mytable''')
我将如何在Cloud Functions中执行此操作-将文件“获取”到本地系统或等效系统中。这是一个示例,其中似乎将文件作为blob进行处理:https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/functions/imagemagick/main.py。