如何通过使用并行执行在Google云中更快地运行功能？

Question

我有一个Web抓取代码，它从30个网页中抓取图像大约需要2分钟，但是如果我只抓取一页，则大约需要4秒钟，所以如果所有这些并行运行，我将仅在4秒钟内得到结果

Answer 1

通常，您要做的是编写pubsub Cloud函数，然后向该函数发送消息以指示要执行的工作量较小。您最多可以在Cloud Functions上并行运行一个函数的1000个实例。根据您的目标，您还需要一种在完成所有工作后就可以将它们合并在一起的方法。