使用PHP scraper获取所有Play商店搜索结果(不仅仅是前20名)

时间:2016-03-30 05:11:17

标签: php jquery scroll web-crawler scrape

摘要:

我想获取所有Play商店搜索结果,问题是,滚动后显示的应用程序在PHP file_get_content()中未显示。

详情:

我正在尝试制作基于php的Play商店刮刀。

我检查了所有stackoverflow答案和github示例,但它们都是旧的,并且不起作用。这是因为之前Play商店使用“开始”参数获取更多应用/下一页..现在,Play商店会在滚动中显示更多应用

经过这么多研究,我决定自己做刮刀。

我在做什么:

file_get_contents():从Play商店中获取查询网址,如下所示:

$result = file_get_content( "https://play.google.com/store/search?q=football" );

这只会在结果中返回20个应用,我想要250个。

Play商店在查询结果中仅显示20个应用,仅在滚动时显示更多应用。

我尝试从“网络标签”获取谷歌ajax网址,但谷歌使用令牌参数进行下一个滚动页...

问题:

如何使用PHP获取滚动内容?如果不可能,我怎样才能获得所有搜索结果?

否则如何使用javascript显示的PHP获取页面内容?

1 个答案:

答案 0 :(得分:0)

在chrome dev工具中查看商店网站。它有一个完美的数据源,但您可能无法获得令牌。我怀疑他们是否想要这样做。

常规

  

请求网址 https://play.google.com/store/apps?authuser=0
   请求方法: POST
   状态代码: 200
   远程地址: 216.58.220.142:443

表单数据:

  

开始: 20
   num: 5
   numChildren: 10
   pagTok: CBQQFA ==:S:ANO1ljJ62NU
   ipf: 1    xhr: 1   令牌: OmILlMEkRv_FCJ1tveWI8rtELHQ:1459318564260