试图获取交互式地图的链接(Web scraping .swf)

时间:2016-11-17 17:13:39

标签: python selenium flash beautifulsoup

我需要为此website

创建一个网络剪贴簿

但是,我需要获取存储在interactive map

中的县的链接

不幸的是,出于某种原因,他们的搜索引擎并没有像交互式地图那样提供所有结果。

我的问题: 谁能告诉我如何获得所有县的所有链接,而无需手动访问它们?

由于

2 个答案:

答案 0 :(得分:0)

您问题的简短回答:无法从网站获取链接。

解决方案:您尝试检索的链接的结构非常容易预测。它们遵循相同的结构:     http://www.allpetservices.co.uk/search_map.asp?ccounty={COUNTY_NAME}

因此,如果您可以使用其他网站或数据源来获取每个县的名称,则可以制定所需的每个链接。

答案 1 :(得分:0)

  

从技术上讲,您可以使用反编译器来完成这项工作。

     

有免费(例如:ActionScript Extractor)和付费(例如:Sothink   SWF Decompiler)工具。

您可以参考此answer

修改: 大多数swf内容都会从.xml.json文件中获取外部记录。

如果没有反编译并且只使用浏览器的开发人员工具,我们可以看到确实访问了一个xml文件(可能它包含了你想要的内容):

http://www.allpetservices.co.uk/uk_ir_locator.xml
view-source:放在链接前面以阅读它(如果有错误信息)。

在该xml中,您要提取每个&amp;的内容( xyz )。每个<link> xyz </link>代码。这将为您提供地图上每个条目的链接