CoreML - 多阵列输入需要在app或模型中进行预处理？

Question

我已使用此library来构建音频分类模型。然后我将这个模型转换为CoreML。后来，我想在此代码https://github.com/robmsmt/kDS2iOS/

中实现该模型

我有一个问题，因为模型的输入是Double MultiArray（1 x 96 x 435），代码采用不同的形式。所以我认为我有两个选择，但请纠正我，如果我错了，我可以在应用程序中进行录制并按照应用程序通过预处理应用程序中的音频文件进行操作，使其适合模型。另一个我不确定是否可能的选项是让原始模型接受音频，这样我就不必在python中编写两次预处理代码，而在xCode中编写另一个。谁能告诉我该怎么做？

Answer 1

这取决于预处理的确切内容。 Core ML可以进行某些类型的预处理（例如，对输入进行规范化），但您仍然需要自己将音频数据加载到MLMultiArray中（因为Core ML没有“音频”输入）。