如何使用C#从网站抓取JavaScript响应?

时间:2019-05-11 21:33:44

标签: javascript c# web-scraping

我希望以编程方式使用C#从网站上获取一些数据,但是我面临的问题是,我感兴趣的数据并未以响应的基本HTML形式返回,而是以一些javascript调用的响应形式返回。是由用户互动触发的。

我用于测试的网站是https://terraria.gamepedia.com/Blocks。整个页面上都标有“单击此处以显示此内容。(可能会稍有延迟)”的部分。单击然后查看我要抓取的信息。实际请求(当我使用Chrome的开发人员工具时)看起来相似,但不完全相同,也没有明确的模式。例如,这是两个不同的请求:

https://terraria.gamepedia.com/g00/3_c-4alyyhyph.nhtlwlkph.jvt_/c-4TVYLWOLBZ88x24oaawzx3ax2fx2falyyhyph.nhtlwlkph.jvtx2fpukle.wowx3fhjapvux3dyluklyx26apaslx3dNltx2597Isvjrzx26p87j.thyrx3deoy_ $ / $

https://terraria.gamepedia.com/g00/3_c-4alyyhyph.nhtlwlkph.jvt_/c-4TVYLWOLBZ88x24oaawzx3ax2fx2falyyhyph.nhtlwlkph.jvtx2fpukle.wowx3fhjapvux3dyluklyx26apaslx3dIypjrzx26p87j.thyrx3deoy_ $ / $

如果我自己导航至这些链接,则完全可以找到所需的内容。但是我不知道如何生成链接。

使用C#自动获取此信息的最佳方法是什么?我研究了Iron Web Scraper这类用于C#或Html Agility Pack的软件包,但是我看不到如何获取页面加载时返回的基本html之外的信息(也许我只是想念它)

0 个答案:

没有答案