我正在创建简单的应用程序。基本上，我将拥有将使用url进行爬网的API。我希望能够同时向API发出很多请求，然后对这些URL进行爬网。
我并不是真正的后端专家，但是这个个人项目正在制作中，因此我可以了解有关不同技术的更多信息。据我了解，使用作业队列是我想使用的东西。
我对Redis有一点了解。我想象我的API可以调用Redis存储并使用给定的URL插入条目。我的应用程序的不同部分可以按一定的时间间隔进行提取并开始爬网。
如果爬网成功，则Redis中的记录将被删除。我希望我对这个过程的理解是正确的。我的应用程序还将具有用户，因此我将不得不将爬网与特定用户相关联，我想这与redis无关，因为我可以创建像crawl:userId:url:timestamp这样的键即可使用。
现在我也偶然发现了RabbitMQ软件。我想决定应该把时间花在哪里。我的用例看起来非常简单，并且通过我的应用程序调用{{1}}似乎是一种方法。我将在我的应用程序中使用Javascript。 RabbitMQ看起来像一个具有很多功能的库，我不确定我是否会使用它们。