Question

我想使用spark mllib朴素贝叶来处理（训练和测试）像这样的数据

男性，怀疑酒精，平日，上午12点至凌晨4点，75,30-39

这样我就可以测试标签男/女/未知。我想创建一个LabeledPoint，以便可以针对mllib朴素贝叶斯算法运行此数据。火花网站上的例子

https://spark.apache.org/docs/1.0.0/mllib-naive-bayes.html

仅显示全部数字的数据。是否可以使用这样的字符串数据运行？我知道我的测试标签需要转换为双重值，即男/女/未知=＆gt; 1.0 / 2.0 / 3.0

如果是这样，我如何使用这种语法将上面的CSV数据转换为LabelPoint？

val parsedData = data.map { line =>
  val parts = line.split(',')
  LabeledPoint(
    parts(0).toDouble, 
    Vectors.dense(parts(1).split(' ').map(_.toDouble)))
}

Answer 1

我现在明白我需要枚举我的数据，以便使用spark mllib朴素贝叶来处理矢量。我要处理的数据看起来像这样。

Male,Suspicion of Alcohol,Weekday,12am-4am,75,30-39
Male,Moving Traffic Violation,Weekday,12am-4am,0,20-24
Male,Suspicion of Alcohol,Weekend,4am-8am,12,40-49
Male,Suspicion of Alcohol,Weekday,12am-4am,0,50-59
Female,Road Traffic Collision,Weekend,12pm-4pm,0,20-24
Male,Road Traffic Collision,Weekday,12pm-4pm,0,25-29
Male,Road Traffic Collision,Weekday,8pm-12pm,0,Other
Male,Other,Weekday,8am-12pm,23,60-69
Male,Moving Traffic Violation,Weekend,12pm-4pm,26,30-39
Female,Road Traffic Collision,Weekend,4am-8am,61,16-19
Male,Moving Traffic Violation,Weekend,4pm-8pm,74,25-29
Male,Road Traffic Collision,Weekday,12am-4am,0,Other
Male,Moving Traffic Violation,Weekday,8pm-12pm,0,16-19
Male,Road Traffic Collision,Weekday,8pm-12pm,0,Other
Male,Moving Traffic Violation,Weekend,4am-8am,0,30-39

幸运的是，这是英国警察交通违规数据，所有字段都包含多组值，即男/女/未知。因此，如果我为每列中的每个数据项分配数值，我最终会得到一个像这样的数据集

0,3 0 0 75 3
0,0 0 0 0 1
0,3 1 1 12 4
0,3 0 0 0 5
1,2 1 3 0 1
0,2 0 3 0 2
0,2 0 5 0 8
0,1 0 2 23 6
0,0 1 3 26 3
1,2 1 1 61 0
0,0 1 4 74 2
0,2 0 0 0 8
0,0 0 5 0 0
0,2 0 5 0 8
0,0 1 1 0 3

我知道我可以直接对抗scala中的朴素贝叶斯。

apache spark mllib naive bayes LabeledPoint用法

1 个答案: