在网络抓取期间将相对网址转换为绝对网址

Question

我有一个问题。我无法将相对网址转换为绝对网址。我怎样才能做到这一点。爬虫是Java。

感谢。

Answer 1

您可以使用URL(URL, String)构造函数从基本URL（上下文）和URL字符串创建绝对URL;请参阅javadocs。

您的网络抓取工具软件应提供获取正确基本网址的方法。

如果您自己编写网络抓取工具，请注意找到正确的基本网址不仅仅是使用您要抓取的网页的网址。技术细节在HTML 5规范的2.5.2节中。仔细阅读它们。