JSoup autofollow javascript重定向

Question

我正在使用JSoup抓取网站，但它使用javascript重定向到新网页。我确定它没有使用302重定向，因为当我关闭浏览器的javascript时它会停止重定向。有没有办法让JSoup自动跟踪javascript重定向？如果没有，还有什么其他选择允许javascript重定向？

Answer 1

Jsoup是一个解析器。它不包含javascript执行引擎，因此无法执行javascript。 要执行javascript，您必须使用headless browser，例如selenium webdriver。

另一种选择是解析负责重定向的javascript（作为文本）并提取url。在那之后，你只需要做你通常做的事情来刮一个网站。但这是一个“黑客”，它不是自动的，我不知道它是否足以满足您的需求。