首先,我的免责声明:我是一个平行的菜鸟。我认为这将是一个容易解决的“令人尴尬的平行”问题,但它让我感到厌恶。
我正在尝试从网络上并行下载一些照片。原始照片是Hi-Res,占用了相当多的空间,所以我会在下载后压缩它们。
以下是代码:
private static void DownloadPhotos(ISet<MyPhoto> photos)
{
List<MyPhoto> failed = new List<MyPhoto>();
DateTime now = DateTime.Now;
string folderDayOfYear = now.DayOfYear.ToString();
string folderYear = now.Year.ToString();
string imagesFolder = string.Format("{0}{1}\\{2}\\", ImagePath, folderYear, folderDayOfYear);
if (!Directory.Exists(imagesFolder))
{
Directory.CreateDirectory(imagesFolder);
}
Parallel.ForEach(photos, photo =>
{
if (!SavePhotoFile(photo.Url, photo.Duid + ".jpg", imagesFolder))
{
failed.Add(photo);
Console.WriteLine("adding to failed photos: {0} ", photo.Duid.ToString());
}
});
Console.WriteLine();
Console.WriteLine("failed photos count: {0}", failed.Count);
RemoveHiResPhotos(string.Format(@"{0}\{1}\{2}", ImagePath, folderYear, folderDayOfYear));
}
private static bool SavePhotoFile(string url, string fileName, string imagesFolder)
{
string fullFileName = imagesFolder + fileName;
string originalFileName = fileName.Replace(".jpg", "-original.jpg");
string fullOriginalFileName = imagesFolder + originalFileName;
if (!File.Exists(fullFileName))
{
using (WebClient webClient = new WebClient())
{
try
{
webClient.DownloadFile(url, fullOriginalFileName);
}
catch (Exception ex)
{
Console.WriteLine();
Console.WriteLine("failed to download photo: {0}", fileName);
return false;
}
}
CreateStandardResImage(fullOriginalFileName, fullOriginalFileName.Replace("-original.jpg", ".jpg"));
}
return true;
}
private static void CreateStandardResImage(string hiResFileName, string stdResFileName)
{
Image image = Image.FromFile(hiResFileName);
Image newImage = image.Resize(1024, 640);
newImage.SaveAs(hiResFileName, stdResFileName, 70, ImageFormat.Jpeg);
}
所以这里的事情让我感到困惑:每张照片都会点击webClient.DownloadFile
行的SavePhotoFile()方法的Catch {}块。错误消息是WebClient请求期间发生的异常,内部细节是“进程无法访问文件... -original.jpg,因为它正由另一个进程使用。”
如果我对这个错误感到困惑,我会对下一步发生的事情感到困惑。事实证明,如果我只是忽略该消息并等待,最终将下载并处理该图像。
发生了什么事?
答案 0 :(得分:0)
好的,所以在我对并行性的关注中出现了一个简单的错误:我假设我的数据并不是真的。 Brianestey发现了问题:Duid不是唯一的。它应该是唯一的,除了创建列表的过程中缺少一些代码。
修复方法是将其添加到MyPhoto类
public override bool Equals(object obj)
{
if (obj is MyPhoto)
{
var objPhoto = obj as MyPhoto;
if (objPhoto.Duid == this.Duid)
return true;
}
return false;
}
public override int GetHashCode()
{
return this.Duid.GetHashCode();
}