有多少数据可以是海量数据？有多少尺寸可以高维？

Question

我现在将成为一名大师，我的老师的研究方向是高维海量数据的数据挖掘。

但我仍然无法想象什么是海量数据，以及多少维度可以称为高维度。

TKS〜

Answer 1

海量数据？好吧，您可以考虑所有Google的请求（被视为流）构成海量数据。

质量尺寸？想象一下Google工程师正在考虑一些主题，如“五条腿狗”。他可以认为每个用户都代表一个维度，并计算一些相关性。而且我很多的用户。

---

现在，回到这一点，对于海量数据或高维数没有明确的定义。但是，您可以考虑：

• 如果您有太多数据无法将所有数据加载到内存中（我说的是HDD，而不仅仅是RAM），那就是海量数据
• 如果你的算法由于维数的诅咒而开始失败，那就是高维度。 1.000.000尺寸肯定是高维的。您通常可以认为1.000也是高维度。