我在汽车行业工作，机器推理的可靠性是一个关键问题，因为这一切都是诉讼。 神经网络（NN）现在非常受欢迎，但可靠性怎么样？ 他们说，它是在1000个测试数据上测试的。嗯，这还不够，10000或更多？您对未经测试或看不见的数据有什么看法？
我不仅要提出缺乏数据问题，还要提出NN的黑盒性质。高斯过程是，我发现“更安全”，因为输出可以作为某种分布导出（虽然这取决于你选择的内核），至少我知道看不见的数据将返回与类似的数据相似的预测。 NN怎么样？任何好的输出分布？当输入数据发生变化时，我可以安全地假设从NN获得连续结果吗？ 谢谢。
类似主题 How to prove the reliability of a predictive model to executives?
答案 0 :(得分：0)
很难说神经网络将如何对看不见的数据执行。就像你说的，神经网络是一个黑盒子，但这并不总是让它不可靠。
要让神经网络真正看到模式并过度拟合数据，您需要实现丢失。这可以防止过度拟合并刺激数据集中（大）模式的检测。
其次，您应该实现测试集。这将告诉您神经网络对未经过训练的数据的执行情况。因此，如果您有1000个样本，则使用800进行训练，使用200进行测试。在使用这800个样本训练网络后，您可以在200个看不见的样本上测试网络。
此外，你可以生成一些样本：制作你期望某个输出的样本。
但是，很难预测神经网络将如何在10000个其他样本上执行。例如，您不知道这10000个样本是否与您训练它的1000个小样本共享相同的模式。