抓取网站动态内容-服务器端

Question

我已经花了几个小时进行研究以找到解决方案，但是我无法解决问题。我有一个ASO服务网站（例如sensortower），在这里我需要按关键字检查android应用程序排名。因此，我需要一个脚本，该脚本可导航到Play商店并在搜索列表结果中找到我们客户的应用的位置。

我可以在前20个结果（file_get_contents）中完美抓取，但是当您向下滚动至底部（动态加载的内容）时，通常会有250个结果。我尝试使用phantomjs，curl，但可能需要其他解决方案。

以下是适用于约20个结果的代码：

$html = file_get_contents('https://play.google.com/store/search?q=war+games&c=apps');
preg_match_all("/data-docid=\"([^\"]*)\"/i", $html, $data);

$list = array_keys(array_flip($data[1]));
$packageNameToSearchFor = 'com.lighting.commander';

if (in_array($packageNameToSearchFor, $list)) {
    $order = array_search($packageNameToSearchFor, $list)+1;

    echo 'Position: '.$order;
} else {
    echo 'Not found!';
}

我感谢所有帮助或提示。