Question

我对机器学习非常了解，但对scala和spark来说是新手。由于Spark API而陷入困境，所以请指教。

我有一个txt文件，每个行格式都是这样的

#label \t   # query, a strong of words, delimited by space
1  wireless amazon kindle

2  apple iPhone 5

1  kindle fire 8G

2  apple iPad

第一个字段是标签，第二个字段是字符串我的计划是将数据拆分为标签和特征，使用构建函数Word2Vec将字符串转换为稀疏向量（我假设它首先使用词包来获取字典），然后使用SVMWithSGD进行分类训练

object QueryClassification {


  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Query Classification").setMaster("local")
    val sc = new SparkContext(conf)
    val input = sc.textFile("spark_data.txt")

    val word2vec = new Word2Vec()

    val parsedData = input.map {line =>
      val parts = line.split("\t")

      ## How to write code here? I need to parse into feature vector 
      ## properly and then apply word2vec function after the map
      *LabeledPoint(parts(0).toDouble, ????)*   
    }

    ## * is the item I got from parsing parts(1) above
    word2vec.fit(*)  





    val numIterations = 20
    val model = SVMWithSGD.train(parsedData,numIterations)


  }
}

非常感谢

Answer 1

如果你使用word2vec算法，你应该训练word2vec中的字符串。

val vocabulary = input.map {line =>
  val parts = line.split("\t")
  val partWords = parts(1).split(" ")
  partWords.toSeq
}
val word2vec = new Word2Vec()
val wordModel = word2vec.fit(vocabulary)

对于词汇表中的单词，您可以从wordModel.transform（word）中获取单词向量。因为SVM需要带有两个值（0或1）的LabelPoint，所以我不知道如何将标签字段转换为双值？

使用Apache spark Mllib进行查询分类

1 个答案: