具有快速爬行的节点并自动生成站点地图

时间:2016-08-27 06:08:48

标签: node.js express sitemap

我的网站频繁更改,我需要一种方法来每天动态生成新的站点地图。

我尝试使用sitemap.js,但它要求我为我的网站提供特定的网址。

我想知道是否有办法让它抓取网站并根据动态找到的网址生成网站地图。

如果没有,是否有任何其他服务器端脚本可用于动态生成站点地图?

由于

1 个答案:

答案 0 :(得分:0)

您的网站是否包含任何后端?还是存储数据?或者它只是干净的HTML,仅此而已?如果它是1或2选项中的任何一个,那么你可以从中提取它。或者你可以 1.获取您的主页,提取所有网址,2。省略其他域名。 3.对您存储的链接重复此操作。 4.不要存储重复项。