搜寻-如何获取动态生成的内容的值?

时间:2018-06-21 05:51:57

标签: web-crawler screen-scraping

我正在使用Firefox firebug tool检查网站。这是用于刮擦。我想获得动态生成的内容的价值。

我了解该网站的工作原理,但是我停留在一个特定的(最终)点。需要经验丰富的人的帮助。

最终动机是获得产品的链接:-

步骤1)它使用其API搜索产品(在搜索栏中)。该API的输入为product name,响应为HTML内容形式的搜索结果,并最终在页面上显示结果。

第2步):要获取所选产品的链接,网站将使用具有以上产品uniqueID的另一个API,并且响应(链接)的格式为{{ 1}}

以上响应与正确的http://example.com/uniqueId/?link_id={{link_id}}而不是link_id一起显示在文本框中。

检查(使用Firebug)文本框后,其中的内容为{{link_id}}。但是,从前端看时,它显示http://example.com/uniqueId/?link_id={{link_id}}

不确定,但我认为,这类似于Jinja模板语言,其中http://example.com/uniqueId/?link_id=123bad3是上下文变量,并且是服务器填充的。

如何提取{{link_id}}

1 个答案:

答案 0 :(得分:0)

根据我的理解,您将必须使用某种“ Web驱动程序”技术来跟踪链接以便检索uniqueID,以便您可以以编程方式自行重建链接。我不相信这有什么办法。