我希望以编程方式使用C#从网站上获取一些数据,但是我面临的问题是,我感兴趣的数据并未以响应的基本HTML形式返回,而是以一些javascript调用的响应形式返回。是由用户互动触发的。
我用于测试的网站是https://terraria.gamepedia.com/Blocks。整个页面上都标有“单击此处以显示此内容。(可能会稍有延迟)”的部分。单击然后查看我要抓取的信息。实际请求(当我使用Chrome的开发人员工具时)看起来相似,但不完全相同,也没有明确的模式。例如,这是两个不同的请求:
如果我自己导航至这些链接,则完全可以找到所需的内容。但是我不知道如何生成链接。
使用C#自动获取此信息的最佳方法是什么?我研究了Iron Web Scraper这类用于C#或Html Agility Pack的软件包,但是我看不到如何获取页面加载时返回的基本html之外的信息(也许我只是想念它)