我只是在想。有没有办法只从抓取工具中隐藏页面的特定部分？
我知道我可以设置“display：none;”然后用JS向用户显示它。在过去它工作，但现在爬虫（/将会）更聪明（尤其是谷歌的爬虫）并且可以阅读JS。
那么，有没有办法隐藏机器人中的某些部分，而不是未来的用户？不是整页，只是部分。
PS＃1：我只是在思考，我没有理由这样做（但是？）。 PS＃2：也许用AJAX可能吗？但是没有理由将它隐藏在smart-js-reading-crawler中。谢谢大家，
强麦
答案 0 :(得分：1)
没有
从根本上说，机器人与人操作的UA之间没有显着差异。
机器人可以执行JS。机器人可以绕过验证码（虽然图像分析，或者将它们提供给将要翻译它们的人或其他各种技术）。机器人可以实现时间延迟，看起来不像机器。等