使用 PyTorch Transformer Encoder Block 进行无监督聚类

Question

我正在尝试对音乐数据集（以整数表示的音符）执行无监督聚类任务。在使用 k-means 对它们进行聚类之前，我想使用 Transformer 对不同歌曲之间的相关性进行编码，并且我对如何最好地解决这个问题有些困惑。 我最初的想法是取encoder层的输出，直接应用聚类方法，但是每个向量的维度从输入到输出急剧增加（从100到10000），这不适合聚类。我不确定这是否是我自己的实现错误，但我想知道以下内容：

1. 编码器层输出的维度相对于输入应该是什么
2. 这些输出实际上意味着什么？ （我只找到了解决解码器层输出的解释）
3. 直接对这些输出进行聚类是否合适，还是应该先应用其他函数？