我想在＆＃34;文件＆＃34;的数据上执行TF-IDF模型。内容是数字标识符（而不是文本）。所以我不想哈希它们，只需使用数值。有没有简单的方法来生成org.apache.spark.mllib.linalg.VectorUDT？我是否必须编写自己的非散列HashingTF？ 或者我自己计算tfidf更简单？
答案 0 :(得分：0)
您可以使用CountVectorizer代替 HashingTF 。 CountVectorizer也可用于获取术语频率向量。
要使用 CountVectorizer 以及随后的 IDF ，您必须使用DataFrame而不是RDD，因为只有ml包支持CountVectorizer。