是否可以通过网络进行自动搜索以检索链接？

Question

我希望通过网络或网站自动搜索以检索链接。这是为了检索共享IP电视链接以创建媒体库以使用VLC在线观看Tṽ。关键是，我不知道什么是最好的解决方案，比如使用脚本或迷你程序的网页......好吧，我从终端和东西的世界开始，只是安装了xubuntu，所以请耐心等待：D

感谢所有人！

Answer 1

是的，有可能。你必须写一个Web Crawler。

JavaScript Node.JS Web Crawlers：

• https://scotch.io/tutorials/scraping-the-web-with-node-js
• http://www.netinstructions.com/how-to-make-a-simple-web-crawler-in-javascript-and-node-js/

如果您想在整个互联网上找到特定链接，那将非常耗时，您的抓取工具需要从一个站点跳到另一个站点并按照它找到的每个链接。

Answer 2

除了Neils，如果你想要一个PHP库，请查看PHP Simple DOM parser

一些考虑因素;

• 首先构建数据库。您要抓取的目标网站/网址列表
• 使用PHP DOM解析器（或任何替代方案）为每个网页创建一个脚本。如果您有多个具有不同布局的网页，这可能会非常耗时。
• 运行脚本并将链接保存到数据库
• 创建一个定期运行的Cron作业并更新您的数据库。

Scrapy 也是用Python编写的可靠替代方案