从交互式地图中抓取数据

时间:2020-05-23 01:57:32

标签: python web-scraping beautifulsoup web-crawler maps

我想知道是否有可能从以下交互式地图中抓取数据:

https://map.910ths.sa/

我试图按照说明here

进行抓取

但是,单击“网络”然后单击“ XHR”后,出现以下错误:

 buttonClear.setOnClickListener { view ->
            val value = 0
            operand1 = null 
            operand2 = 0.0
            if (value == 0){
                result.setText("")
            }
        }

我了解某些交互式地图(例如使用Microsoft Power BI设计的交互式地图)是不可能/很难刮刮的,但是我想知道我们是否可以找到上面交互式地图的数据。

1 个答案:

答案 0 :(得分:1)

此示例交互式地图使用https://api.map.910ths.sa/api/graphql/处的数据使用API​​。它需要POST请求。输出数据是这样的:

{"data":{"businesses":{"aggregationByArea":{"areaBuckets":[{"area":{"id":"city-3","location":{"latitude":24.699999961,"longitude":46.733330032}},"size":147136}]},"size":147136}}}

您可以以graphql的形式找到数据需求:

enter image description here

我建议您阅读使用python的抓取API: