我正在用C＃编写一个应用程序，它循环遍历维基百科的本地数据库副本。我使用一堆正则表达式在这些文章中找到正确的信息，启动一个线程来获取每篇文章的图像，保存信息并转到下一篇文章。
我需要使用代理列表来下载这些图片，以免被google禁止。 由于代理可能很慢，我使用线程进行并行下载。
如果我不使用线程，应用程序正常工作，但需要一段时间才能获得所有信息。
如果我使用线程，应用程序正在工作，直到它使用大约500个线程，然后我得到一个OutOfMemory异常。
事情是它只使用~300Mo的RAM，因此它不会使用总内存可用的所有内存（8Go）和分配给单个32位应用程序的内存。
每个应用程序的线程是否有限制？
修改
下载海报的代码（以getPosterAsc（）开头）。
string ddlValue = "";
private void tryDownload(object obj)
{
WebClient webClientProxy = new WebClient();
Tuple<WebProxy, int> proxy = (Tuple<WebProxy, int>)((object[])obj)[0];
if (proxy != null)
webClientProxy.Proxy = proxy.Item1;
try
{
ddlValue = webClientProxy.DownloadString((string)((object[])obj)[1]);
}
catch (Exception ex) {
ddlValue = "";
Console.WriteLine("trydownload:" + ex.Message);
}
webClientProxy.Dispose();
}
public void getPoster(object options = null)
{
if (options == null)
options = new object[2] { toSave, false };
if (!AppVar.debugMode && AppVar.getImages && this.getImage)
{
if (this.original_name != "" && !this.ambName && this.suitable)
{
Log.CountImgInc();
MatchCollection MatchList;
string basic_options = "";
string value = "";
WebClient webClient = new WebClient();
Regex reg;
bool found = false;
if (original_name.Split(' ').Length > 1) image_options = "";
if (!found)
{
bool succes = false;
int countTry = 0;
while (!succes)
{
Tuple<WebProxy, int> proxy = null;
if (countTry != 5)
proxy = Proxy.getProxy();
try
{
Thread t = new Thread(tryDownload);
if (!(bool)((object[])options)[1])
t.Start(new object[] { proxy, @"http://www.google.com/search?as_st=y&tbm=isch&as_q=" + image_options + "+" + basic_options + "+" + image_options_before + "%22" + simplify(original_name) + "%22+" + " OR %22" + original_name + "%22+" + image_options_after + this.image_format });
else
t.Start(new object[] { proxy, @"http://www.google.com/search?as_st=y&tbm=isch&as_q=" + image_options + "+" + basic_options + "+" + image_options_before + "%22" + simplify(original_name) + "%22+" + " OR %22" + original_name + "%22+" + image_options_after + "&biw=1218&bih=927&tbs=isz:ex,iszw:758,iszh:140,ift:jpg&tbm=isch&source=lnt&sa=X&ei=kuG7T6qaOYKr-gafsOHNCg&ved=0CIwBEKcFKAE" });
if (!t.Join(40000))
{
Proxy.badProxy(proxy.Item1.Address.Host, proxy.Item1.Address.Port);
continue;
}
else
{
value = ddlValue;
if (value != "")
succes = true;
else
Proxy.badProxy(proxy.Item1.Address.Host, proxy.Item1.Address.Port);
}
}
catch (Exception ex)
{
if (proxy != null)
Proxy.badProxy(proxy.Item1.Address.Host, proxy.Item1.Address.Port);
}
countTry++;
}
reg = new Regex(@"imgurl\=(.*?)&imgrefurl", RegexOptions.IgnoreCase);
MatchList = reg.Matches(value);
if (MatchList.Count > 0)
{
bool foundgg = false;
int j = 0;
while (!foundgg && MatchList.Count > j)
{
if (MatchList[j].Groups[1].Value.Substring(MatchList[j].Groups[1].Value.Length - 3, 3) == "jpg")
{
try
{
string guid = Guid.NewGuid().ToString();
webClient.DownloadFile(MatchList[j].Groups[1].Value, @"c:\temp\" + guid + ".jpg");
FileInfo fi = new FileInfo(@"c:\temp\" + guid + ".jpg");
this.image_size = fi.Length;
using (Image img = Image.FromFile(@"c:\temp\" + guid + ".jpg"))
{
int minHeight = this.cov_min_height;
if ((bool)((object[])options)[1])
minHeight = 100;
if (img.RawFormat.Equals(System.Drawing.Imaging.ImageFormat.Jpeg) && img.HorizontalResolution > 70 && img.Size.Height > minHeight && img.Size.Width > this.cov_min_width && this.image_size < 250000)
{
foundgg = true;
image_name = guid;
image_height = img.Height;
image_width = img.Width;
img.Dispose();
if ((bool)((object[])options)[0])
{
Mediatly.savePoster(this, (bool)((object[])options)[1]);
}
}
else
{
img.Dispose();
File.Delete(@"c:\temp\" + guid.ToString() + ".jpg");
}
}
}
catch (Exception ex)
{
}
}
j++;
}
}
}
webClient.Dispose();
Log.CountImgDec();
}
}
}
public void getPosterAsc(bool save = false, bool banner = false)
{
ThreadPool.QueueUserWorkItem(new WaitCallback(getPoster), new object[2] { save, banner });
}
答案 0 :(得分：2)
我会确保您使用线程池来“管理”您的线程。有人说每个线程消耗大约1MB的内存，并且取决于系统硬件，这可能会导致您的问题。
解决此问题的一种可能方法是使用线程池。这样可以减少因尽可能共享和回收线程而产生所有线程所产生的开销。这允许低级别线程设施（许多线程处于活动状态），但限制了这样做的性能损失。
线程池还会限制它将同时运行的工作线程数（注意，这些都是后台线程）。太多的操作线程是一个很大的管理开销，可以“render the CPU cache ineffective”。一旦达到您将强加的线程池限制，其他作业将排队并在另一个工作线程空闲时执行。我认为这是一种更有效，更安全，更节省资源的方式，可以满足您的需求。
根据您当前的代码，有多种方法可以进入线程池：
BackgroundWorker。ThreadPool.QueueUserWorkItem。就个人而言，我会使用TPL，因为它太棒了！ 我希望这会有所帮助。
答案 1 :(得分：1)
使用perfmon检查实际使用内存的是什么，特别是要密切关注“Modified Page List Bytes”值。这对于多线程应用程序来说尤其麻烦，因为多线程应用程序将引用保留到文件特定的时间长度 - 通常（临时）分辨率以高利用此值是为了增加可用的虚拟内存。
此外，如果在Windows Server 2008上运行高度线程化的应用程序，则需要应用dynacache from Microsoft以防止系统文件缓存有效占用可用内存。
上述两个问题都可以直接关联到.net多线程应用程序处理大量数据，遗憾的是它们不会显示为您的应用程序使用，因此很难跟踪（因为我在痛苦的几天里发现了）
答案 2 :(得分：0)
使用32位可执行文件时，默认情况下实际上只能分配2Gb而不是8Gb（有关详细信息，请参阅此处：http://blogs.msdn.com/b/tom/archive/2008/04/10/chat-question-memory-limits-for-32-bit-and-64-bit-processes.aspx）
尝试限制你的工作线程，这样你就不会使用那么多，并确保线程执行代码没有内存泄漏。
用try ... catch包装你的线程执行（如果在线程执行代码上得到OutOfMemoryException），因为它可能与您下载的图像有关
答案 3 :(得分：0)
我最近在我的一个应用程序中遇到了一个与此非常相似的问题。它与在单个“字符串”对象中存储和使用的数据量有关。如果我不得不猜测，你的Out of Memory异常来自
的初始分配ddlValue = webClientProxy.DownloadString((string)((object[])obj)[1]);
如果您可以重新编写它，您是否可以找到一种方法来以流的形式访问Web返回，而不是将整个响应读入字符串。然后，您可以使用流阅读器逐行解析Web响应。
是的，我知道这听起来很复杂，但它与我最终必须在我自己的代码中使用的解决方案相匹配。我处理的事情太大而无法存储为单个字符串，而是必须直接从流中访问它们。