我一直在监控我公司网站上的活动，比如点击链接等等。和网络爬虫在我们的网站上疯狂。
我认为这是一个问题，我们应该在产品清单上指定NOFOLLOW。 像MSN和GoogleBot这样的抓取工具可以从我拥有的数字中产生大约90％的流量。 与网站有大约200次互动，即。有人看着产品或大约每2分钟前往“联系我们”页面。 爬行者只是在“家居装饰”部分继续弹跳并寻找钓鱼诱饵之类的东西。
抓取工具似乎也固定在搜索字词“spin n glow”上，我们使用钓鱼作为描述性标记。但它已经搜索了超过360万次的“旋转发光”！
基本上，我问这是正常的吗？从字面上看，平均每秒有超过2次点击。总是有一个抓取页面的抓取工具，很难说实际上有多少人在浏览网页。
- 编辑 -
这是我们使用的关键字元
<meta name="keywords" content="online Fishing gear, discount hunting supplies, camping gear online, hunting gear online, camping accassoires, hunting accessories, fishing accessories, Hunting, marine electronics/products, clothing, cooking, gifts, lures, tackle, live bait, guns, rifles, shotguns, Saginaw Bay, Michigan, Rivers, streams, woods, up north, sonar, rods, reels, waders, fly fishing, accessories, stream fishing, fishing reports, ice fishing, still fishing, walleye, perch, salmon, sonar, VHF radios, speed indicators, mounting systems, marine batteries, GPS, Temperature probes, UHF radios, autopilots, smokers, cooking aides, jerky cure, gas stoves, camping equipment, equipment, cook books, cookbooks, Terry Redlin, Terry Redlin Items, living stone figurines, second nature figurines, collector plates, framed pictures, birdhouses, chimes, Camille Beckman lotion, Big Sky Carvers art, Heritage Decoy, decoys, duck hunting, Spoontique lighthouses, Westland wildlife, sandstone coasters, bedding accessories, Leanin Tree cards, trout vests, fishing jackets, Red Ball, LaCrosse, Kobuk, hip boots, Columbia, Columbia Gnat Creek Jacket, Hodgman, Filson, Masterbuilt, Luhr Jensen, Camp Chef, Shore Lunch, smoking chips, smoking chunks, seasoning, wild game, bullets, ammunition, scopes, buck shot, jigs, line, fishing line" />
答案 0 :(得分：1)
算法总是会改变，但是如果你要提供一些可能有助于回答的META TAGS。点击量似乎有点高，但有时当特定受欢迎的项目被趋势化时，在该主题中会发生更多的爬行。所以＆＃34;旋转发光＆＃34;可能是其中之一。
答案 1 :(得分：0)
你也可以看看访客＆＃39; IP：如果它们中的大多数都有一个或多个IP地址 - 这是一个机器人。否则，看起来他们是真人。