crawler4j总是返回致命的传输错误

Question

这是我为crawler4j添加的任何种子所获得的。

ERROR [Crawler 1] Fatal transport error: Connection to http://example.com refused while fetching http://example.com/page.html (link found in doc #0)

这对我来说真的很奇怪。我不知道是什么原因造成的。

Answer 1

尝试增加抓取工具的礼貌设置。当我想要爬行的服务器不好时，它总是发生在我身上。