Web抓取工具是否会将提供相同内容的两个不同URL视为单独的页面?

时间:2018-07-26 15:04:43

标签: web-crawler google-crawlers

我有两个网址:

http://www.example.com/homepage?planType=a

http://www.example.com/homepage?planType=b

两个URL都返回相同的HTML内容。但是有一种Javascript使用查询参数来隐藏/显示页面上的某些内容。

请注意,此隐藏/显示发生在客户端。并且点击其中任何一个URL都将返回相同的响应。

网络爬虫会将上述两个URL视为提供不同内容的两个不同页面吗?

PS::我知道它不会提供不同的内容,但我希望Web爬网程序将它们视为单独的页面。

0 个答案:

没有答案