我参与了一个机会，我的任务是编写一个“蜘蛛”应用程序，其目标是动态抓取一组预定义的网页和/或特定的URI，并检索尽可能多的视频。页面或计划在页面上播放。这里的目标是收集通常不加密的广告，因此这不是关于解密流内容或该方向的任何内容的问题。
我们尝试了各种解决方案，例如：
使用像Fiddler这样的HTTP会话分析工具，并使用Fiddler扩展，我编写了传输任何看起来像视频的HTTP会话（FLV，MPEG-4，URL / header /等中的各种提示）到通过WCF单独的聚合器应用程序;
扫描在抓取会话期间传输的每个ASCII文本文件，将URL转换为视频文件，并在将它们传输到聚合器应用程序之前一次一个地调查/下载它们;
等
不幸的是，这些解决方案的覆盖率并不令人满意;对于某些网站，我们绝对没有视频;其他网站，我们得到了一些，而对于很少的网站，我们得到了所有网站。
特别令人沮丧的是，浏览器必须关注任何视频才能播放的网站，或者在加载或播放任何视频之前必须点击“播放”按钮的网站，或者视频内容必须可见的网站并且在任何视频加载或播放之前处于焦点等。每个服务器只运行一个蜘蛛来收集这些视频效率不高。
如前所述，我们正在使用托管WebBrowser控件的C＃.NET Winforms解决方案。也许还有更好的组件？任何建议都表示赞赏，尽管我们非常希望保持在.NET世界中（与.NET interop配合良好的第三方组件显然很好）。
感谢您的任何信息！