使用HTML敏捷包进行报废

Question

我用HTML agility pack抓取了网页 但是我不知道如何获取使用javascript加载的数据。 我知道ChromeDriver可能会有所帮助，但是我不想在应用程序中打开浏览器。实际上，我希望程序在用户界面后面获取数据。 例如，我要获取此page中的所有滑块图像 但是图片是由JS加载的。因此HTML敏捷包无法捕获它。

Answer 1

您也可以使用无头chromedriver。无头浏览器是用于自动化测试和不需要可见UI外壳的服务器环境的绝佳工具。

Chrome 59.x及更高版本支持Chrome Headless。

您可以使用此代码无头使用chrome

  ChromeOptions option = new ChromeOptions();
  option.AddArgument("--headless");
  _driver = new ChromeDriver(option);