每天在同一页面上抓取数据并增加Google云端硬盘文档

时间:2015-08-08 11:48:36

标签: web-scraping google-sheets kimono

我没有设法通过和服实验室实现预定的内容抓取。

以下是我打算做的事情:抓取每天在特定网页上发布的电影排名,并将数据增加到现有的Google表格。实际上会有3列

Date / Ranking / Movie name

我实现了使用和服实验室创建scrape API并安排它每天运行并且数据看起来很好(除此之外我无法设置将抓取日期添加为值)。

但我无法在Google表格中增加新数据,我只能更新现有数据。

我和Zapier一起调查了IFTTT,但也没有运气。任何人都知道如何管理这个?

3 个答案:

答案 0 :(得分:0)

我试图提取以下排名。 http://www.allocine.fr/film/attendus/

Kimono完成了我可以提取排名和电影片名的工作。但是这个排名每天都在变化,我无法将排名日保留在单元格中,并将其写入Google工作表文档。

更容易理解?:)

答案 1 :(得分:0)

答案 2 :(得分:0)

将此代码添加到"修改结果"你会有一个日期戳:

function transform (data) {
   function add_date(item) {
        item.date = new Date();
        return item;
    }
     for (var collection in data.results) {
        data.results[collection] = data.results[collection].map(add_date);
    }


  return data;
}