C＃下载包含正确显示所需内容的网站

Question

以下场景：我们开发了大约400个个人网站，目前我们正在努力构建我们的产品组合。由于多种原因，我们希望显示索引，以便我们可以将其放在我们的投资组合中。首先想到的是以编程方式制作每个网站的截图。我们公司的负责人迅速揭穿了它，因为他们想要现场展示它。 Iframes显然不是另类。所以我们必须下载索引。可能只有正确显示它所需的样式和图像。

我不确定如何开始这样做。

你们有什么想法吗？

Answer 1

CodedUI（和Selenium）的基础技术使用网络爬虫来隔离网页的特定有用部分。我建议使用该底层库来抓取您实时运行的网页，并提取构成页面结构的任何图像和div。

然后，您可以将这些作为静态HTML发出，以使页面快照适合站点索引。

这样做意味着您将使用与测试自动化相同的技术，但不是运行测试，而是从HTML中提取有用的结构并将其作为页面快照发出。您必须标记HTML的“有用”部分，以使抓取工具能够仅提取您认为应编入索引的项目（例如，如果HTML5，则包含数据属性）。这可能需要做很多工作 - 所以如果您只需要每个页面的屏幕截图，只需使用Selenium或CodedUI来抓取您的网站并捕获屏幕图像。