在过去,我编写了一个php脚本,它不断地使用curl获取外部网页,获取其html,解析它,并在数据库中存储一些“捕获”数字。
现在这样的外部网页已经发展:这些数字不再是“静态的”(意思是:页面的html中的常量,或者是从服务器脚本生成的),它们是在网页之后的非平凡的javascript脚本之后生成的。准备好了,也涉及ajax电话。 所以,我不能再使用curl了。
在javascript完成计算和调用之后,我可以使用什么来获取这些“数字”?我想用php编写所有内容,但如果需要,我可以使用其他语言(在unix上)并从php调用它。
你推荐什么?它可以完成还是地狱?
(P.S。:我担心你们中的一些人可能会认为我可能会做一些“非法”的事情,但事情并非如此,“外部网站”属于我的公司。)非常感谢