标签： web-crawler apache-storm stormcrawler
我将urls存储在mysql中，将索引数据存储在lucene中。我正在使用tomcat在多台计算机中将storm crawler作为应用服务器运行。我是否真的需要zookeeper，ninbus和Storm在服务器之间分配url（来自mysql）。
答案 0 :(得分：1)
See FAQ
问：我需要一个Storm集群来运行StormCrawler吗？ A：否。它可以在本地模式下运行，并且仅将Storm库用作依赖项。不过，以伪分布式模式安装Storm是有意义的，以便您可以使用其UI来监视拓扑。
问：我需要一个Storm集群来运行StormCrawler吗？
A：否。它可以在本地模式下运行，并且仅将Storm库用作依赖项。不过，以伪分布式模式安装Storm是有意义的，以便您可以使用其UI来监视拓扑。
另请参阅Run StormCrawler in local mode or install Apache Storm?