我最近对包含网址结构的电子商务网站进行了一些重大更改。查看产品的网址由.htaccess修改，并包含一个简短的产品说明，如果更改将不会影响页面上的结果。
示例：www.Example.com/staticFolder/non-deterministic-product-details/MODEL#.html
现在在错误日志文件中，我看到bingbot请求example.com/non-deterministic-product-details
我们的站点地图未链接到此页面，我无法在页面上找到任何不良链接。有没有其他人有bingbot这样做的问题？我发现另一个因随机而被锁定的问题。 Bingbot causing 404 errors。我做错事的可能性更大吗？我应该避免在.htaccess中使用伪目录吗？
-Thanks
答案 0 :(得分：1)
没有什么要求蜘蛛只坚持链接爬行。它完全有可能猜测与已知类似的URL，希望它能找到一些东西。
无论如何，除非你知道它是在一个糟糕的链接之后，否则我不会担心它。收到大量不存在页面的请求是很正常的。