网站搜索和刮痧

Question

我经常出差和经常去kayak.com，这让我想到了皮划艇如何完成搜索和抓取所有这些网站。

我可以理解从加载的HTML页面获取数据，但是他们如何完成Expedia.com的后端搜索，例如，最终用户看到Expedia的网站？

Answer 1

我已经构建了数十个像这样的元搜索。有几种选择：

1. 成为联盟会员：网站通常会为您提供可以提交搜索的API，并快速获得回复。大多数时候，你会得到一些推荐的回复。
2. 抓住目标网站：您可能不希望尝试获得航空公司未来的整个行程，因此这里最好的计划是让您的用户搜索一个例程，将其提供给网站，并获得结果。您的前端需要处理异步结果或计划让用户等待很长时间。

Answer 2

实际上，根据联盟营销渠道获取SQL结果并不是一个好主意。我会找到一种方法来批量插入数据，并围绕数据Feed结果构建搜索引擎。您对他人的依赖会影响您建筑物的质量。

还要把它想象成一个CAR，你添加的选项越多，就越容易打破。

结帐Avoli.com。