免责声明：我对机器学习领域很陌生，所以请原谅我 如果我的问题有些天真...我已经在互联网上搜索了 关于这个话题，没有找到任何有趣的东西，所以我在这里问....
我想知道ML算法是否可以被视为存储数据的一种方式？ 有些节目包含＆＃34;包含＆＃34; PI的十进制小数（例如https://www.quora.com/What-is-the-smallest-C-program-generating-pi-without-using-the-math-library）：在某种程度上它是＆＃34;压缩＆＃34; PI的前几千个小数的版本，对吧？
以同样的方式，ML（例如Deep Neural Net）似乎存储信息。我们可以确定在神经网络中存储了多少位？我们可以使用ML算法数据结构来压缩信息并在以后检索它（即使它不是100％准确）吗？ ...
是否有（不是太技术性）论文讨论这些可能性？
谢谢：）
答案 0 :(得分：0)
在链接中，您发布PI的完整（无限长）信息，而不仅仅是1000个小数。但它需要无限的时间/迭代才能完成所有工作;-)。
问题： 就像你提到的学习者/分类器存储有关你训练他们的数据的信息。但他们的目的不是回溯原始数据，而是分类/评估新数据。所以谨慎地说： ＆＃34;不，我们不能简单地使用AI算法压缩数据，并且无法获得原始数据＆＃34;。
一个特例是K-Nearest-Neighbor算法。 在这里你可以恢复原始数据，但那是因为它没有被压缩，只是以超维数据点的形式保存。
您问题中最难的部分是我们如何量化分类器（深度神经网络）中存储的信息。如果您有Hopfield-Network（保存并识别图像/模式。但不是深度神经网络），您可以通过计算保存的模式及其大小来量化信息。对于决策树，您可以计算规则（以及每个规则的信息增益）。对于神经网络，您可以获取神经元的数量，也可以获取每个或所有神经网络的熵。但是，正如您所看到的那样，很难回答一个问题，即指定存储在训练有素的学习算法中的信息。
我希望我能回答一些你的问题。
干杯