标签: nlp svd dimensionality-reduction
我使用NLTK API下载了有关原油的路透社新闻文章,并构建了共现矩阵。我将窗口大小设置为5,并进行尺寸缩小。它从7853减少为2维。所解释的变异性是93%,这意味着我的尺寸减少得当。
我在2D平面上绘制了单词向量,看起来像这样:
如您所见,它看起来像“ U”向侧面旋转,或者是y = x ^ 2的侧面曲线。
这是一个有趣的现象,我不知道为什么会发生。有人解释为什么吗?
++这不是Word2Vec
++这不是t-SNE尺寸缩减,而是TruncatedSVD