除了后端和API之外，Google App Engine还可以用于其他流程吗？

Question

可以使用google app引擎运行网络抓取工具吗？

我有一个爬虫程序，以亚马逊网上商店产品的特定ID（或ASIN编号）开头。然后，该流程使用亚马逊产品广告API来获得类似产品。提取类似产品后，其ASIN编号用于调用其他类似产品的API。该过程假设获得大约25,000个产品的信息，大约需要3-6个小时。

现在我的客户端希望使用不同的初始ASIN号运行此进程的多个实例。我给了他一个关于如何使用谷歌计算引擎制作整个系统的建议，但他渴望使用谷歌应用程序引擎。他认为app引擎会以某种方式自动生成爬虫实例。

由于谷歌应用引擎用于后端和API，我担心在应用引擎上部署这样的搜寻器系统会有其局限性。

Answer 1

是。您可以获取基本网址，抓取数据，获取相关产品的网址，然后启动taskqueues以获取每个后续​​网址。冲洗并重复。