如何使用Express.js自动化网页抓取

Question

我正在使用Express.js构建一个Web应用程序，用于绘制我当地健身房的实时出勤率。这些数据可在其网站上公布。

为了绘制这些数据的图表，我需要定期刮取网站，每次提取值并将其插入数据库。

我应该如何自动执行此过程？以下方法是否有效：

1. 设置＆＃39;刮擦＆＃39;将处理必要逻辑的路线

   app.get('/scrape', function (req, res) {
       // Make a request to the gym's website using a scraping library
   
       // Traverse the DOM and extract the attendance value
   
       // Insert this value into the database
   });
   

2. 使用类似cron的库自动请求定期到此＆＃39; / scrape＆＃39; 路径