GCP Cloud Functions是处理大型.csv文件的正确工具吗?

时间:2017-11-09 07:41:13

标签: google-cloud-platform google-cloud-dataflow google-cloud-functions

我的目标是允许用户将相对较大的数据集导入MongoDB(托管在mongo云上)。 Api服务器托管在容器引擎中,并且它没有任何其他具有如此大负载的操作(只有简单的CRUD操作)。

用户将.csv文件(最多100mb)上传到GCP Bucket,从那里我需要验证并将csv文件中的每一行插入MongoDB,然后根据导入的数据进行一些计算。 这是否适合GCP云功能?我有点担心540秒的执行持续时间限制。

1 个答案:

答案 0 :(得分:1)

这似乎是Apache Beam / Dataflow的一个很好的用例。使用Beam 2.2,您可以编写一个流式传输管道,使用TextIO.read().from(...).watchForNewFiles(...)继续在存储桶中提取新文件 - 请参阅javadoc