我打算使用PHP和CURL开发一个在线网站审核工具,就像在Woorank 上一样,并希望在我的网站上提供,以便人们可以完全免费查看多个网站的网站审核报告。在开发这个工具时,我需要抓取像Alexa这样的网站。我想知道它是否允许?如果是规则,请告诉我。感谢与我的关注有关的任何建议。
答案 0 :(得分:1)
您可以按照以下步骤开始:
注册亚马逊网络服务(AWS)。
注册Alexa网站信息服务。
了解如何向此服务提交请求:
当然,对于第1步和第2步,您必须付费......
答案 1 :(得分:1)
允许抓取网站。但是,在大多数国家/地区都没有打破网站。这意味着您不应该干扰网站。只是观察。按照惯例,您还应遵循robots.txt指南。
具体法律因国家/地区而异。请注意,虽然您无法显示您抓取的实际网站,因为他们的所有者拥有版权。但是,您可以(在大多数国家/地区)分发审核结果。
答案 2 :(得分:0)
您可以使用siteliner.com来帮助开发网站aduit工具。 siteliner是一个提供网站报告的网站,如重复内容内页,经纪链接等等。你也可以看到smallseotools.com。网站aduti工具。