有重定向时获取og信息

时间:2017-08-31 20:21:48

标签: javascript node.js web-scraping opengraph reddit

我正在尝试获取此网址的og信息:

https://www.reddit.com/r/DunderMifflin/comments/6x62mz/just_michael_pouring_sugar_into_a_diet_coke/

我使用open-graph-scraper。但问题是它首先加载没有og信息的空页面,然后加载第二页,其中包含正确的og信息。 open-graph-scraper仅从第一页加载og信息。有什么方法可以获得正确的信息吗?

1 个答案:

答案 0 :(得分:0)

setValue()

的产率:

var ogs = require('open-graph-scraper'); var options = {'url': 'https://www.reddit.com/r/DunderMifflin/comments/6x62mz/just_michael_pouring_sugar_into_a_diet_coke/',timeout:5000}; ogs(options, function (err, results) { console.log('err:', err); // This is returns true or false. True if there was a error. The error it self is inside the results object. console.log('results:', results); });

有时重定向需要一秒钟,并且在请求中增加超时是个好主意。这允许库在提取og数据之前到达正确的页面。 open-graph-scanner使用下面的请求库,它将继续跟踪重定向,直到它到达主页面。如果仍然无效,请确保您可以使用Web浏览器访问该页面。