Storm Crawler-抓取需要身份验证的网站

Question

我想在使用Storm Crawler的Intranet中抓取需要授权的网站（我已经拥有凭据）。是否可以通过简单地修改爬虫配置来实现，或者我应该更改源代码中的类，如果是这样，哪些类？

Answer 1

目前无法使用。我已为此#427打开了一个问题，您需要修改HttpProtocol类。这将是一个巨大的贡献，非常受欢迎。