自我更新网页抓取

时间:2019-04-18 12:41:41

标签: javascript database web-scraping web-crawler

我目前正在为大学项目(使用JavaScript)建立一个网站。因此,我想在页面上显示另一个网站的程序页面。我现在的方法是通过网络抓取来保存数据。但是当然,网站每天都会更新,并且程序要点也会改变。我的问题是,如何才能自动提取最新数据(每天进行更新),以及如何在网站上显示和设置样式? 这是我的初步代码(尚无法正常工作)。有人可以帮我或给我关键字给Google吗?

非常感谢您。

const request = require('request');
const cheerio = require('cheerio');
const fs = require('fs');
const writeStream = fs.createWriteStream('events.csv');

writeStream.write(`Title,Day,Time \n`);

request('https://das-gaengeviertel.info/programm/uebersicht.html', (error,
response, html) => {
    if(!error && response.statusCode == 200) {
        const $ = cheerio.load(html);

        $('.items').each((i, el) => {
            const title = $(el)
                .find('.title')
                .text();
            const day = $(el).find('.day').text();
            const time = $(el).find('.time').text();

            writeStream.write(`${title}, ${day}, ${time} \n`);
        });

        console.log('Scraping done...');
    }
})

0 个答案:

没有答案