如何搜索外部URL的HTML源并将结果返回给我的应用程序？

Question

我正在尝试在外部网址中搜索匹配“title”的内容，并通过Javascript将结果返回到我的HTML页面。我一直在使用Javascript而没有找到任何解决我查询的资源，也许我说错了？

但我基本上会搜索文件：

var title = document.getElementsByName("title");

困难的部分是连接到页面并搜索HTML源代码。

TIA！

Answer 1

除非服务器明确允许您这样做，否则通常无法从外部URL获取内容。但是，您可以从服务器端执行此操作。您将能够从服务器获取任何URL的内容。服务器必须包含响应名称为access-control-allow-origin的标头，其中包含您的域的模式/名称。

但是，无论如何，您都可以从服务器端执行此操作，除非您被服务器专门阻止。

您需要开发一个解决方案，从服务器中获取外部URL的内容。它可以是PHP，Node.js，C＃等等。从外部服务器接收响应后，使用AJAX或其他任何东西来响应浏览器。然后，无论如何，您都可以使用JavaScript或JQuery来玩它。

重要提示：

无论如何，请确保您尝试访问的内容，您可以这样做。如果他们（您的外部网址）想要与公众分享内容，他们必须提供一些API或其他解决方案，以允许您访问其内容。

Answer 2

研究已经导致了一个解决方案，实施了一个刮刀。存在许多，例如scrapy。对于那些有同样问题的人来说，只是一个头脑。