从网站提取参数和结果内容

时间:2014-08-28 03:58:54

标签: web screen-scraping

我有一个网站,我可以输入一个字符串列表,它会以相同的格式(基本上是一个表格)显示每个字符串的结果。

我想要做的是能够保存结果以及相应的参数(我搜索的输入字符串)并将它们输出到文件中以便稍后分析。所以基本上捕获我的输入和它返回的输出。有点像,如果我在谷歌搜索“堆栈”,我希望我的输出文件是“堆栈”和所有显示的搜索结果。

我已经对网页和屏幕抓取做了一些研究,但我发现任何不符合我需求的东西。我查看了php中的curl函数,但看起来它只能获取特定URL的内容,我没有这个内容,因为我会经常重复搜索。

我还查看了HTML Agility PackHttpWatch,但他们似乎无法动态提取内容。

我想知道是否有任何我可以使用的想法或提示。我想也许是一个我可以编写的插件或应用程序来捕获我的请求的参数(输入字符串)和从服务器发送的结果,但我不确定如何做到这一点,任何提示?或者也许有一个我无法找到的现有的?

提前致谢!

0 个答案:

没有答案