噩梦加载页面

时间:2019-09-14 14:39:37

标签: javascript web-scraping nightmare

问题网址:https://play.livebet.com/#/sport/?lang=pol&type=0&competition=1978&region=1840001&game=15068229&sport=1

我创建了一个节点js脚本来从上面的链接中获取数据。 它可以正常工作2天,然后噩梦无法再加载内容。

40秒后引发超时。最多需要2秒。 当我运行它时,我可以看到它正在永远加载它。

下面是代码段:

function fetchMatches(key, url) {
    new Nightmare({
        show: true,
        waitTimeout: 40000,
        webPreferences: {
          partition: 'nopersist'
        }
    })
      .goto(url)
      .wait(function() {
        var dd = document.evaluate("(//div[contains(@class, 'multicolumn-table')])[2]", document, null, XPathResult.ANY_TYPE, null);

        if (dd.iterateNext() == null) {
            return false;
        }

        return true;
      })
      .evaluate(() => document.querySelector('body').innerHTML)
      .end()
      .then(response => {
        var fs = require("fs");
        fs.appendFileSync('livebet.txt', 'Processing');
      })
      .catch(error => {
        console.error('Search failed:', error)
      })
}

我不知道发生了什么以及为什么它无法做到这一点。当我在浏览器中打开此链接时,可以看到已加载的内容。

有人知道这里可能有什么问题吗?

0 个答案:

没有答案