为什么在抓取JavaScript时出现500错误

Question

它一直工作到昨天，但是现在我收到500错误 网站：“ https://music.bugs.co.kr/chart/track/day/kpop” 我想获取一些信息，但不能。

这是我的简短代码

const Crawler = require('crawler');

exports.daily = async () => {

  var c = new Crawler({
    maxConnections: 10,
    callback: function (error, res, done) {
      if (error) {
        console.log(error);
      }
      else {
        try{
          console.log(res.statusCode);
        }
        catch (e) {
          console.log(e);
        }
      }
      done();
    }
  });

  // Queue just one URL, with default callback
  let url = 'https://music.bugs.co.kr/chart/track/day/kpop';
  c.queue(url);
}

我希望200，但是它会抛出500。

我认为这是该网站的问题，我能做些什么吗？

Answer 1

如果是bugs.co.kr，我认为您不是所有者。

错误500表示另一边有问题（bugs.co.kr）。如果这不受您的控制，则您将无法直接执行任何操作。

您可能可以做的事情：

1. 等等！通常，这500个错误会被远程站点所有者/开发人员快速检测到并迅速修复。
2. 联系网站：提交错误报告；发送错误报告电子邮件；填写联系表格！一切。
3. 找到其他提供类似数据的服务（ff错误未解决）。您可能需要重写代码。