使用php抓取JavaScript生成的网站

时间:2019-03-31 07:05:26

标签: php web-scraping

我一直在使用PHP Simple HTML DOM解析器进行网页抓取。

例如,使用已知的遗传变异代码(例如“ rs4343”),我将从此链接获取产品页面:

https://www.thermofisher.com/order/genome-database/searchResults?searchMode=keyword&productTypeSelect=genotyping&keyword=rs4343

要获取试剂产品代码,我将使用正则表达式(例如'/ C _ [\ S] + /';)在HTML内找到项目,在这种情况下为“ C__11942562_20”

,但由于现在使用javascript的网页发生了更改,因此抓取不再有效。

我尝试使用cURL php命令,但这也由于与解析器相同的原因而失败。

使用Firefox,我确定了API https://www.thermofisher.com/order/genome-database/api/v2/search)和方法(POST),最小可行标头和json参数。

大概这可以使用cURL,但是使用php有没有更简单的方法?

我知道php需要创建一个模拟启用javascript的浏览器的实例才能呈现结果。

我在这里推测,但是是否可以使用客户端(浏览器)在后台执行此操作-也许在不可见的帧中?

0 个答案:

没有答案