在XamarinForms中使用VisionServiceClient的各种错误

时间:2019-01-29 18:04:59

标签: xamarin xamarin.forms azure-cognitive-services microsoft-custom-vision

我正在尝试创建一个简单的Xamarin表单应用程序,该应用程序允许用户浏览或拍摄照片,并使用自定义视觉模型让天蓝色的认知服务为照片添加标签。

对于VisionServiceClient产生的异常中的错误消息,我无法使客户端成功进行身份验证或找到资源。我想念什么吗? VisionServiceClient的参数使用正确的值是什么?

所有键均已从下面的图像中删除,并已填充。

VS2017中引发的异常:

  

System.Private.CoreLib.dll中的“ Microsoft.ProjectOxford.Vision.ClientException”

致电VisionServiceClient:

private const string endpoint = @"https://eastus2.api.cognitive.microsoft.com/vision/prediction/v1.0";
private const string key = "";

VisionServiceClient visionClient = new VisionServiceClient(key, endpoint);
VisualFeature[] features = { VisualFeature.Tags, VisualFeature.Categories, VisualFeature.Description };
try
{
     AnalysisResult temp = await visionClient.AnalyzeImageAsync(imageStream,                    
     features.ToList(), null);

     return temp;
}
catch(Exception ex)
{
     return null;
}

VS异常错误:

Exception thrown by visionClient.AnalyzeImageAsync()

Azure认知服务门户:

Cognitive Services Overview

Cognitive Services Keys

自定义视觉门户:

Custom Vision Portal Settings Page

Project Prediction URL Popup

2 个答案:

答案 0 :(得分:1)

您似乎混淆了 Computer Vision和 Custom Vision API。您正尝试通过后者的API密钥将客户端SDK用于前者。

对于.NET语言,您需要Microsoft.Azure.CognitiveServices.Vision.CustomVision.Prediction NuGet软件包。

您的代码最终看起来像这样:

ICustomVisionPredictionClient client = new CustomVisionPredictionClient()
{
    ApiKey = PredictionKey,
    Endpoint = "https://southcentralus.api.cognitive.microsoft.com"
};
ImagePrediction prediction = await client.PredictImageAsync(ProjectId, stream, IterationId);

答案 1 :(得分:0)

感谢您提供扩展帮助,并在聊天中与我交谈。通过使用他的帖子以及一些疑难解答,我弄清楚了什么对我有用。代码非常笨拙,但这只是为了测试并确保我能够做到这一点。要回答这个问题:

Nutt包和类

使用cthrash的文章,我能够同时安装training和预测nuget软件包,这是针对此特定应用程序的正确软件包。我需要以下课程:

  

Microsoft.Azure.CognitiveServices.Vision.CustomVision.Prediction   Microsoft.Azure.CognitiveServices.Vision.CustomVision.Prediction.Models   Microsoft.Azure.CognitiveServices.Vision.CustomVision.Training   Microsoft.Azure.CognitiveServices.Vision.CustomVision.Training.Models

端点根

按照某些步骤Here,我确定端点URL只需要是根目录,而不是Custom Vision Portal中提供的完整URL。例如,

  

https://southcentralus.api.cognitive.microsoft.com/customvision/v2.0/Prediction/

已更改为

  

https://southcentralus.api.cognitive.microsoft.com

我同时使用了Custom Vision门户的键和端点,并且进行了更改,因此我能够同时使用培训和预测客户端来进行项目和迭代。

获取项目ID

要使用CustomVisionPredictionClient.PredictImageAsync,您需要一个Guid作为项目ID,如果门户中未设置默认迭代,则需要一个迭代ID。

我测试了两种获取项目ID的方法,

使用门户网站的项目ID字符串

  1. 从门户网站的项目设置下获取项目ID字符串。
  2. 对于PredictImageAsync的第一个参数传递
      

    Guid.Parse(projectId)

使用培训客户

  1. 创建一个新的CustomVisionTrainingClient
  2. 要获取<Project>的列表,请使用

      

    TrainingClient.GetProjects().ToList()

  3. 就我而言,我只有一个项目,所以我只需要第一个元素。

      

    Guid projectId = projects[0].Id

获取迭代ID

要获取项目的迭代ID,您需要CustomVisionTrainingClient

  1. 创建客户端
  2. 要获取<Iteration>的列表,请使用
      

    client.GetIterations(projectId).ToList()

  3. 在我的情况下,我只有一个迭代,所以我只需要第一个元素。
      

    Guid iterationId = iterations[0].Id

我现在可以使用我的模型对图像进行分类。在下面的代码中,fileStream是传递给模型的图像流。

public async Task<string> Predict(Stream fileStream)
{
    string projectId = "";
    //string trainingEndpoint = "https://southcentralus.api.cognitive.microsoft.com/customvision/v2.2/Training/";
    string trainingEndpoint = "https://southcentralus.api.cognitive.microsoft.com/";
    string trainingKey = "";
    //string predictionEndpoint = "https://southcentralus.api.cognitive.microsoft.com/customvision/v2.0/Prediction/";
    string predictionEndpoint = "https://southcentralus.api.cognitive.microsoft.com";
    string predictionKey = "";

    CustomVisionTrainingClient trainingClient = new CustomVisionTrainingClient
    {
        ApiKey = trainingKey,
        Endpoint = trainingEndpoint
    };

    List<Project> projects = new List<Project>();

    try
    {
        projects = trainingClient.GetProjects().ToList();
    }
    catch(Exception ex)
    {
        Debug.WriteLine("Unable to get projects:\n\n" + ex.Message);
        return "Unable to obtain projects.";
    }

    Guid ProjectId = Guid.Empty;

    if(projects.Count > 0)
    {
        ProjectId = projects[0].Id;
    }

    if (ProjectId == Guid.Empty)
    {
        Debug.WriteLine("Unable to obtain project ID");
        return "Unable to obtain project id.";
    }

    List<Iteration> iterations = new List<Iteration>();

    try
    {
        iterations = trainingClient.GetIterations(ProjectId).ToList();
    }
    catch(Exception ex)
    {
        Debug.WriteLine("Unable to obtain iterations.");
        return "Unable to obtain iterations.";
    }

    foreach(Iteration itr in iterations)
    {
        Debug.WriteLine(itr.Name + "\t" + itr.Id + "\n");
    }

    Guid iteration = Guid.Empty;

    if(iterations.Count > 0)
    {
        iteration = iterations[0].Id;
    }

    if(iteration == Guid.Empty)
    {
        Debug.WriteLine("Unable to obtain project iteration.");
        return "Unable to obtain project iteration";
    }

    CustomVisionPredictionClient predictionClient = new CustomVisionPredictionClient
    {
        ApiKey = predictionKey,
        Endpoint = predictionEndpoint
    };

    var result = await predictionClient.PredictImageAsync(Guid.Parse(projectId), fileStream, iteration);

    string resultStr = string.Empty;

    foreach(PredictionModel pred in result.Predictions)
    {
        if(pred.Probability >= 0.85)
            resultStr += pred.TagName + " ";
    }

    return resultStr;
}