Jsoup错误的货币类型

时间:2016-10-07 17:32:29

标签: java web-scraping jsoup

我有jsoup这个问题,几个月前,我部署了一个带爬虫的war文件从某些网站提取数据,爬虫按预期工作,但后来他们开始失败,我认为网站改变了,但是事情并非如此。

所以调试抓取工具我刚刚发现数据没有被正确解析,因为它是另一种货币(让我们说我得到了加拿大的dolars而不是美国的dolars)。

我不确定为什么突然之间发生了变化,我很擅长设置用户代理以从特定国家/地区获取货币,但现在它似乎被忽略了

我尝试了一些事情来查看是否有任何更改,例如默认情况下将User.country等Java系统属性更改为US。没有结果。

注意:我的测试是在本地服务器上运行的,此处数据始终位于US dolars,生产服务器位于澳大利亚。

我正在寻找可以提供建议的人,以便在创建网络浏览器/网络浏览器时避免出现这种情况。

1 个答案:

答案 0 :(得分:1)

这可能是IP地址问题。你说生产服务器位于澳大利亚。在我看来,目标网站可能会根据原始IP地址呈现页面,这将导致显示澳元。为了避免这种情况,我认为除了使用美国IP地址之外别无他法。您可以通过在位于美国的服务器前使用代理来实现此目的。