我如何在这个网页上抓取JS生成的数据？

Question

上周，推出了一款名为#Homescreen的新工具，允许人们在iPhone主屏幕上分享他们拥有的应用程序的屏幕截图。例如：https://homescreen.is/iamfinnym

我想建立一个刮刀，在用户的页面上提取所有应用程序的名称（除了它们在屏幕上的位置）。我该怎么做？我知道如何构建一个普通的HTML scraper，但看起来应用程序是通过某种React.js javascript调用生成到页面上的，并且我不知道如何去解决这个问题。 （我可以编写基本的Javascript，但以前从未使用过React.js，我也不知道如何开始使用。）

Answer 1

这是通过Chrome的开发者控制台获取数据的方法：

如果您打开Chrome开发者控制台（ Ctrl / Cmd + Shift + C ），然后前往网络，您会发现this：

如果点击它，您会看到API已设置好，以便在向https://homescreen.is/api/user/{USERNAME}发出GET请求时，您会将其应用的数据设为responseData.apps。点击“预览”以预览API发送的data：

现在，您可以使用任何语言的http库向API发出GET请求。