在solr 6.4.1中抓取一个URL

Question

我正在使用solr 6.4.1并使用以下内容抓取网址

以下是我抓取网址的方式：

java -Ddata = web -Dc = corename -jar post.jar（urlname）

我收到以下问题：

网址（urlname）导致重定向到（urlname）/ us / SimplePostTool：警告：URL（urlname）返回HTTP结果状态301 索引了0个网页。

如何解决此问题？

Answer 1

您提供的网址已被永久重定向，如HTTP 301 Status Code所示。您需要将要提供的URL更改为要报告的新URL。在上面显示的情况下，它将是（urlname）/ us /

因此，您需要更改urlname的值，以在要调用的命令中包含尾随/ us /。

因此，如果您的网址名称为http://thecoolsite.com/，则现在需要使用http://thecoolsite.com/us/

希望这有帮助。