从弹出窗口中刮取PHP

Question

有没有办法从弹出窗口中抓取数据？我想从网站tennisinsight.com导入数据。

例如，here 这是一个示例数据提取链接。点击“概述”时会出现一个带有“匹配统计信息”的按钮，我希望能够从文本或CSV文件中的多个链接导入这些数据。

实现这一目标的最佳方法是什么？ Scrapy能够做到这一点吗？有软件可以做到吗？

Answer 1

您希望在浏览器中打开网络分析器（例如在Firefox中的Web Developer中），以查看单击“匹配统计数据”时发送的请求。按钮，以便使用python复制它们。

当我这样做时，POST请求会以action和matchID个参数发送给http://tennisinsight.com/wp-admin/admin-ajax.php。

您可能已经知道匹配ID（请参阅上面发布的网址），因此您只需要为每个匹配ID设置一个POST请求。

import requests
r = requests.post('http://tennisinsight.com/wp-admin/admin-ajax.php', data={'action':'showMatchStats', 'matchID':'191551201'})
print r.text #this is your content of interest