通过ASP.NET MVC和C#询问其他网站

时间:2012-11-09 18:20:33

标签: c# asp.net-mvc web-services http web-applications

我想知道如何在网站中实现一个功能,询问其他网站的结果,然后保留这些结果并进行比较或显示。例如,如果提供产品的网站没有用于外部应用程序的API,那么如何在没有人工活动但是通过自动化系统的情况下进行搜索?简而言之,我将实现的功能是一个微小的搜索电机,仅限于某些网站,而不是整个网络。你有好主意吗?有必要研究任何一个外部网站及其中每个搜索页面所要求的方法吗?

谢谢, 最好的问候。

2 个答案:

答案 0 :(得分:2)

您正在寻找的术语是“屏幕抓取”。如果站点没有API,则主要选项是以编程方式复制用户Web浏览器将发出的相同请求,然后从响应中返回的HTML中提取所需内容。由于客户端跨源请求受大多数浏览器的限制,因此您需要在服务器端执行此操作。

答案 1 :(得分:0)

您可以在流中提取目标网站并解析所需信息。这是一种丑陋的方式,但是根据所提供的信息,我不确定你是怎么做的。