如何使用Google Cloud功能将1TB文件加载到数据库中

时间:2018-10-13 03:02:50

标签: python google-cloud-platform google-cloud-storage google-cloud-functions

比方说,我有成千上万的1TB文件需要插入数据库。这些文件存储在Google Cloud Storage中。如何创建将这些文件保存到数据库的函数?我的理解是,Cloud Functions的大小限制为2GB(内存),因此将数据从GCS通过Cloud Function“流”到我的数据库中的方式将是什么?这是我通常的做法:

with open('1TBFile.csv', 'r') as f:
    for line in f:
        self.cursor.execute('insert into mytable''')

我将如何在Cloud Functions中执行此操作-将文件“获取”到本地系统或等效系统中。这是一个示例,其中似乎将文件作为blob进行处理:https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/functions/imagemagick/main.py

0 个答案:

没有答案