我搜索整个网络寻求解决方案，但没有找到我需要的东西。继承了我的问题
我有一个独特的链接，由用户在fb，twitter等社交网络上共享。当在该链接上触发唯一的ip点击时，我将奖励用户一些积分，但是一旦用户共享链接，我就会看到7-8个数据库条目，并且这些条目来自社交网络爬虫。因此，当用户共享fb时，会生成错误的数据库条目。不仅是第一次在固定延迟和创建问题后每次都爬行和爬行。我的链接如下
kodeinfo.com/user/token/network
请告诉我如何阻止此网络抓取网址
答案 0 :(得分：0)
Mabye检查Facebook或Twitter抓取工具是否使用特定User-Agent并忽略这些代理。
答案 1 :(得分：0)
您可以尝试使用链接上的rel="nofollow"属性。理论上，机器人应尊重这一点，而不是遵循链接。
以下是来自Google的更多信息。
祝你好运！