我使用
连接到网址Document document = Jsoup.connect(params[0])
.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.120 Safari/535.2")
.get();
但无论我传递什么参数,它总是返回相同的值示例:
如果我有一个网址 - https://somewebsite.com/data?page=1
它会返回页面中的所有数据,但当我使用page
之类的https://somewebsite.com/data?page=4
传递相同的网址时,网站会将我重定向到第1页。
有没有办法解决这类问题?
答案 0 :(得分:2)
此行为(返回主页)可能是您正在触发的网站的一项功能。有些网站这样做是为了禁止用户对它们进行“不规则”的浏览/导航 - 让用户只选择一个选项 - 在正确的网站上实施的“官方”选项,很可能与所需的相关(来自所有者)用户体验,例如,显示广告。
您可以尝试的是仅在第X页中获取一些标签,而不是整个内容,并检查结果。也许这可以“伪造”重定向机制。