如何使用AbotX Javascriptrendering

Question

我正在尝试使用AbotX crawler抓取我需要呈现javascript并在其上按下span标记的网站。

我已经使用了很多Abot爬虫，并且预计不得不覆盖一些类，就像我之前必须扩展的那样，例如CrawlDecisionMaker。

但我似乎无法找到从哪里开始，我希望我必须写下这样的内容：

var implemnts = new ImplementationOverride(config);
implemnts.JavascriptRenderer = new PhantomJsRendererTest(config);

并扩展PhantomJsRenderer，以便能够单击渲染页面上的按钮。

但由于我无法看到现有课程的作用或找到有关从哪里开始的任何信息，我完全迷失了。

我想标记Abot和AbotX的帖子，但我没有所需的声誉。

Answer 1

AbotX（使用IsJavascriptRenderingEnabled = true）将检索页面源并执行所有javascript以获得最终页面呈现。最终渲染包括使用javascript添加/修改的所有内容（html / css）甚至内容。它不允许您进一步执行javascript。

如果您需要进一步与页面进行交互，那么网络爬虫不太可能是您需要的。您需要使用PhantomJs或Selenium等浏览器自动化框架。这些是无头浏览器，允许您像在浏览器中一样与页面进行交互。