我的目标是允许用户将相对较大的数据集导入MongoDB(托管在mongo云上)。 Api服务器托管在容器引擎中,并且它没有任何其他具有如此大负载的操作(只有简单的CRUD操作)。
用户将.csv文件(最多100mb)上传到GCP Bucket,从那里我需要验证并将csv文件中的每一行插入MongoDB,然后根据导入的数据进行一些计算。 这是否适合GCP云功能?我有点担心540秒的执行持续时间限制。
答案 0 :(得分:1)
这似乎是Apache Beam / Dataflow的一个很好的用例。使用Beam 2.2,您可以编写一个流式传输管道,使用TextIO.read().from(...).watchForNewFiles(...)
继续在存储桶中提取新文件 - 请参阅javadoc。