我一直在使用PHP Simple HTML DOM解析器进行网页抓取。
例如,使用已知的遗传变异代码(例如“ rs4343”),我将从此链接获取产品页面:
要获取试剂产品代码,我将使用正则表达式(例如'/ C _ [\ S] + /';)在HTML内找到项目,在这种情况下为“ C__11942562_20”
,但由于现在使用javascript的网页发生了更改,因此抓取不再有效。
我尝试使用cURL php命令,但这也由于与解析器相同的原因而失败。
使用Firefox,我确定了API https://www.thermofisher.com/order/genome-database/api/v2/search)和方法(POST),最小可行标头和json参数。
大概这可以使用cURL,但是使用php有没有更简单的方法?
我知道php需要创建一个模拟启用javascript的浏览器的实例才能呈现结果。
我在这里推测,但是是否可以使用客户端(浏览器)在后台执行此操作-也许在不可见的帧中?