如何抓取所有wordpress页面

时间:2012-10-19 21:54:10

标签: wordpress dns web-crawler reverse-dns

我想抓取所有wordpress博客。是否有任何快速方法列出wordpress.com下的所有二级域名?例如http://developer.wordpress.com/

如果我们可以获取所有辅助域地址的列表,则应该可以轻松快速地抓取所有数据集。

我们可以通过1)dns查找网站的所有辅助域名。 2)或其他黑客技术?

感谢您对这个问题的回答!

1 个答案:

答案 0 :(得分:0)

您可以在执行实时搜索的某些在线应用上使用google dorks轻松找到子域名,例如http://www.iseebug.com/find-sub-domain-online-search-domain/ 还有像http://iseebug.com/sandVox/

这样的在线抓取工具