我想禁止使用google / yandex / bing(所有其他主要搜索引擎)的抓取工具来展示我网站的广告。 (我知道这可能听起来很疯狂,但请理解保密)。其他人正在竞标我的网页,我不想鼓励这种行为。
基本上我不想要任何关于我的网页的广告。我认为可能的一种方法是在robot.txt中禁止他们的机器人。这会有用吗?如果是,我如何获得所有主要参与者及其所有adbots的UA列表。
如果没有,我有什么解决方案?
答案 0 :(得分:0)
您可以在浏览器中添加AdBlock或类似程序,以避免在特定导航器中添加。
避免添加您的网站,这是另一回事,您应该排除与Google签订营销合同的网页。
我没有看到这与抓取工具有关。