如何从网站列表中下载新文章?建议?

时间:2019-07-25 19:14:26

标签: web screen-scraping harvest

我想通过Google搜索得出结果时遇到了很多死胡同。本质上,我列出了20个网站,所有研究机构都会不定期地用最新发现更新其网站/博客。

我正在尝试-A-查找可以检查新文章的软件,然后将标题和文章链接发送给我,或者B-编写检查新文章的脚本,然后将标题和文章发送给我链接。

有什么建议或软件建议吗?

1 个答案:

答案 0 :(得分:0)

您应该首先查看是否有任何站点具有RSS feed。这是很常见的事,它将为您完成工作。

我已经建立了类似的东西。如果文章有发布日期,则可以使用新的保存文件或数据库