从开发的角度来看，Indeed.com URL结构和站点的工作原理是什么？

Question

在网站管理员的Q和A网站上，我问了以下内容：

https://webmasters.stackexchange.com/questions/42730/how-does-indeed-com-make-it-to-the-top-of-every-single-search-for-every-single-c

但是，从发展的角度来看，我想了解更多相关信息。

如果您搜索Google以寻找与工作相关的任何内容，例如Gastonia Jobs（City + jobs），那么除了搜索结果占据Google首页之外，您还会获得如下所示的网址结构：< / p>

indeed.com/l-Gastonia,-NC-jobs.html

我假设L代表URL结构中的位置。如果您搜索与行业相关的工作或具有特定公司名称的工作，您将获得以下内容（Microsoft工作）：

indeed.com/q-Microsoft-jobs.html

在美国有超过40,000个城市，我想，好吧，也许它们可以通过它们循环并为每一个创建一个页面。这对计算机来说并不难。但显然网站是动态的，因为每个页面都有10000个结果并以10分页。上面的q显然代表查询。我可以理解的位置，但他们不可能为每个查询组合创建一个网页，可以吗？

好吧，它有点怪异。我想看看他们是否有站点地图，所以我输入谷歌“really.com sitemap.xml”我收到了回复：

indeed.com/q-Sitemap-xml-jobs.html

再次，我搜索了“really.com url结构”，正如我在网站管理员的另一篇文章中所提到的，我回来了：

indeed.com/q-change-url-structure-l-Arkansas.html

是不是基于我的搜索输入到google，以某种方式使用编程来动态创建网页？如果不是，他们如何能够拥有数百万和数百万可能的查询组合的静态页面，让它们动态分页，然后让所有这些主导谷歌的第一页结果（尽管最后一个问题可能是最好的对于网站管理员QA）？

页面中的javascript是否以某种方式与URL进行交互

Answer 1

很可能不一堆页面。 “实际”页面可能是http://indeed.com/?referrer=google&searchterm=jobs%20in%20washington。然后，该网站使用URL重写巧妙地生成一个人类可读的URL，在数据库中提取与查询匹配的作业，并且可以...

当然，我可能是错的。说实话，它的技术方面可以通过多种方式解决。每次将作业添加到网站时，都可能会创建所有需要完成以匹配该作业的页面，从而产生大量页面供Google抓取。

Answer 2

这是一个很棒的问题，但仍然没有回答基本的Google搜索使用，

ste:indeed.com

返回超过120MM的结果，其次，诸如“产品经理纽约”之类的查询在结果中排​​名第一。这些页面显然是预先生成的，这可以通过搜索引擎缓存页面（有时几天前）与网站上的实时查询有不同的结果来确认。

Answer 3

当Googles搜索机器人确实抓取页面或任何其他作业搜索站点时，这些页面是动态创建的。这是另一个网站：http://jobuzu.co.uk我运行这个类似于确实如何工作。

PHP是你的朋友，确实不要只使用标准数据库查看Sphinx和Solr，因为它们提供全文搜索以获得更好的性能，然后是MySql等。

Answer 4

他们还巧妙地使用 rel =“canonical”和彻底的内部链接： http://www.indeed.com/find-jobs.jsp

请注意，可以从该直接内部链接结构中找到实际排名的所有页面。