如何最好地搜索网站并在PHP中检索数据?

时间:2009-07-17 03:45:47

标签: php search web web-scraping

尝试学习更多PHP。这就是我要追求的目标。

基本上,我想搜索网站并将数据返回到我自己的网站。

  1. 在表单中添加几个关键字。
  2. 使用这些关键字查询诸如monster.com的网站,查找与输入的关键字匹配的结果。
  3. 抓取该数据并将其返回我自己的网站。
  4. 这样的事情有多难?我承认上述大纲过于简单,但您提供的任何提示都非常感谢。

2 个答案:

答案 0 :(得分:2)

如果您正在查询具有为此类功能指定的API的网站,那么您就可以轻松上街了。只需调用API的相应搜索功能,即可完成设置。

如果您要查询的网站没有API,您仍然可以使用正确的参数使用HTTP GET搜索网站。然后,您只需要使用脚本和一些正则表达式函数来搜索搜索结果的文件。

这是screen scraping with PHP的一个小教程。希望这对你有所帮助。这样做的问题在于,一般情况下,如果网站无法轻松访问他们的数据,他们可能不希望您这样做。

答案 1 :(得分:1)

输入Yahoo Query Language(yql)。这是一项服务,让您使用xpath之类的东西从网站获取数据并将它们放入易于使用的xml或json格式。该语言的结构类似于sql(因此名称)。

我已经将它用于其他网站为没有它的网站构建rss供稿,这很容易学习。

http://developer.yahoo.com/yql/