Question

我正在编写一个程序，以抓取许多公司的网站（最多100,000个）以获取最新的联系信息以及有关其在C＃中的操作领域的一些信息。由于大多数网站无法在常规.NET Web浏览器中显示，因此我使用geckofx导航到这些网站并查找与我相关的内容，因此我选择了带有HtmlAgilityPack的节点。

过程始终相同：如果我有一家公司的URL，则立即访问该网站，否则我使用bing查找网址（Google似乎不喜欢自动使用该地址）。在网站上，我寻找一个指向压印的链接以及指向可能指示某些活动领域的页面的链接，我导航至这些链接并寻找我事先指定的标语。一切都同步运行，我等待浏览器每次触发其DocumentCompleted事件。

一个例子：

//I navigate to bing looking for my company's name and postal code
Variables.browser.Navigate("https://www.bing.com/search?q=" + c.Name.Replace(" ", "+") + "+" + c.Zip.Replace(" ", "+"));

//I wait for the browser to finish loading. The Navigating event sets BrowserIsReady to false and the DocumentCompleted event sets it to true
do
{
    f.Application.DoEvents();
} while (!Variables.BrowserIsReady);

HtmlDocument browserDoc = new HtmlDocument();
browserDoc.LoadHtml(Variables.browser.Document.Body.OuterHtml);

//I select the relevant node in the document
HtmlNode sidebarNode = browserDoc.DocumentNode.SelectSingleNode("//div[contains(concat(\" \", normalize-space(@class), \" \"), \" b_entityTP \")]");

if (sidebarNode != null)
{
    Variables.logger.Log("Found readable sidebar. Loading data...");
    string lookedUpName, lookedUpStreet, lookedUpCity, lookedUpZip, lookedUpPhone, lookedUpWebsite;

    HtmlNode infoNode = sidebarNode.SelectSingleNode("//div[contains(concat(\" \", normalize-space(@class), \" \"), \" b_subModule \")]");

    HtmlNode nameNode = infoNode.SelectSingleNode("//div[contains(concat(\" \", normalize-space(@class), \" \"), \" b_feedbackComponent \")]");
    if (nameNode != null)
    {
        string[] dataFacts = nameNode.GetAttributeValue("data-facts", "").Replace("{\"", "").Replace("\"}", "").Split(new string[] { "\",\"" }, StringSplitOptions.None);
        foreach (string dataFact in dataFacts)
        {
            //... abbreviated
        }
    }
    //And at the end of every call to a node object I set it back to null
    nameNode = null;
}

我的geckofx不允许将缓存写入内存或从网站加载图片，这是我使用设置的

GeckoPreferences.Default["browser.cache.memory.enabled"] = false;
GeckoPreferences.Default["permissions.default.image"] = 2;

在创建我的GeckoWebBrowser实例之前。

在每个被抓取的网站之后，我致电

//CookieMan is used as a global variable so I don't have to recreate it every time.
private static nsICookieManager CookieMan;
//...
CookieMan = Xpcom.GetService<nsICookieManager>("@mozilla.org/cookiemanager;1");
CookieMan = Xpcom.QueryInterface<nsICookieManager>(CookieMan);
CookieMan.RemoveAll();
Gecko.Cache.ImageCache.ClearCache(true);
Gecko.Cache.ImageCache.ClearCache(false);
Xpcom.GetService<nsIMemory>("@mozilla.org/xpcom/memory-service;1").HeapMinimize(true);

删除cookie，图像缓存（甚至不确定是否创建）并最小化Xulrunners的内存使用。

尽管如此，在以大约每条记录2-3秒的运行时间和200-300mb舒适的内存使用率很好地启动之后，每条记录很快就耗费了16-17秒的时间，仅我的抓取工具就花了2GB以上1小时。

我尝试用GC.Collect();强制进行垃圾收集（我知道，您不应该这样做），甚至通过停止，处理和重新创建它来尝试遍历整个浏览器对象，以消除未使用的垃圾。记忆，但无济于事。我还试图关闭Xulrunner并重新启动它，但是Xpcom.Shutdown()似乎停止了整个应用程序，因此我无法做到这一点。

在这一点上，我几乎没有想法，非常感谢我尚未采用的方法的新提示。

Answer 1

您是否尝试过使用回收的AppDomain？

AppDomain workerAppDomain = AppDomain.CreateDomain("WorkerAppDomain");
workerAppDomain.SetData("URL", "https://stackoverflow.com");
workerAppDomain.DoCallBack(() =>
{
    var url = (string)AppDomain.CurrentDomain.GetData("URL");
    Console.WriteLine($"Scraping {url}");
    var webClient = new WebClient();
    var content = webClient.DownloadString(url);
    AppDomain.CurrentDomain.SetData("OUTPUT", content.Length);
});
int contentLength = (int)workerAppDomain.GetData("OUTPUT");
AppDomain.Unload(workerAppDomain);
Console.WriteLine($"ContentLength: {contentLength:#,0}");

输出：

抓取https://stackoverflow.com
ContentLength：262.013

您在主AppDomain和辅助AppDomain之间传递的数据必须可序列化。

更新：最干净的解决方案应该是使用单独的进程。这样可以保证可以可靠地清除泄漏。

带有HtmlAgilityPack的GeckoFX中的C＃大量内存泄漏

1 个答案: