简单的Web爬虫（例程）

Question

我是初学程序员，我正在尝试根据公共网站每天显示的公共信息创建一个数据库（一个50行和5列的小表）。 我的意思是每天进入这个网站4次，并存储一个显示在本网站的表格。我需要一些帮助/提示以下几点，我认为我应该攻击以构建这个数据库：

1）我应该使用哪种编程语言？

2）我应该在哪里存储程序？

3）它将存储数据的位置？

4）该计划应如何运作？ [这里有两个问题：i）如何进入网站并存储数据; ii）每天如何做，每天4次，特定时间]

任何关于这些问题的提示都会很棒。 感谢

Answer 1

• 我会用JavaScript编写代码，更具体地说是Google Apps脚本。
• 程序（脚本）将存储在您的Google云端硬盘
中
• 您可以将数据存储在Google电子表格或Google ScriptDB
中
• 您创建一个定时触发器，每天运行4次“更新”功能。
• • 使用UrlFetchApp（https://developers.google.com/apps-script/reference/url-fetch/url-fetch-app）检索网页内容，解析内容，然后将解析后的数据存储在ScriptDB中（https://developers.google.com/apps-script/guides/script-db/）
• • 时间驱动的触发器（https://developers.google.com/apps-script/execution_time_triggers）

您可以将脚本发布为网络应用，并允许用户在必要时查看结果。

Answer 2

如果你问我应该用什么语言，你必须真正开始编程。我会回答一个问题：你知道哪种语言？

在我看来，最简单的方法是使用小型php脚本，将文件或数据库中的信息作为cron作业每天运行4次。