我想知道有多少工作网站有这么多关于其他公司提供的工作机会/信息。例如，如果我要开始自己的求职搜索引擎，我怎样才能获得像Indeed.com这样的网站在我自己的数据库中的信息？一个站点（jobmaps.us）表示它“确实是”，并且似乎遵循与Indeed.com相同的格式（与所有其他求职网站一样）。我可以使用一些通用的求职模板吗？
提前致谢。
答案 0 :(得分：0)
某些服务提供了一个API，允许您“联合”搜索（将它们转发到多个数据源，然后将所有结果收集在一起以便在一个位置显示）。或者，有些提供了一种允许您下载/检索数据的机制，因此您可以将其加载到您自己的搜索索引中。
后一种方法通常更快并且可以完全控制，但需要您维护搜索索引并跟踪远程系统上数据项的更新/添加/删除的时间。这并不总是微不足道的。
在任何一种情况下，某些API将是开放/免费的，有些将需要注册和/或许可。大多数人都有费率限制。这完全取决于拥有数据的人。
可以模拟用户浏览网站，发送HTTP请求以及分析来自Web服务器的响应。通过了解HTML的结构，可以提取（“刮擦”）您需要的信息。
此方法通常违反网站政策，可能会阻止您。如果您采用这种方法，请确保您遵守任何robots.txt政策，以避免被列入黑名单。