如何合并来自不同类型数据源的输入？

Question

我必须使用麦克风数据（wav文件），加速度传感器数据和光传感器数据来训练神经网络。

现在我想到的方法是将所有数据转换为图像，然后将它们组合为单个图像并训练我的神经网络。

另一种方法是将wav文件转换为数组，并将其与传感器数据组合在一起，并训练我的神经网络。

我的方法正确吗？或者有更好的方法吗？

欢迎任何建议/想法。

Answer 1

另一种解决方法是：

1. 将wav转换为字节数组（byte []）
2. 将传感器数据转换为另一个字节数组
3. 将光传感器数据转换为字节数组

现在，您具有字节数组形式的3种不同功能。

将特征转换为字节数组将有助于您将数学模型应用于数据。 例如。您可以有一个简单的加权模型（w1 * f1 + w2 * f2 + w3 * f3），其中f1至f3是您的字节数组。

您还可以在特征的字节数组上构建FFT模型。