我有一个数据集test1.txt
。它包含如下数据
2::1::3
1::1::2
1::2::2
2::1::5
2::1::4
3::1::2
3::1::1
3::2::2
我使用以下代码创建了数据框架。
case class Test(userId: Int, movieId: Int, rating: Float)
def pRating(str: String): Rating = {
val fields = str.split("::")
assert(fields.size == 3)
Test(fields(0).toInt, fields(1).toInt, fields(2).toFloat)
}
val ratings = spark.read.textFile("C:/Users/test/Desktop/test1.txt").map(pRating).toDF()
2,1,3
1,1,2
1,2,2
2,1,5
2,1,4
3,1,2
3,1,1
3,2,2
但我想打印下面的输出I.e.删除重复的组合,而不是field(2) value sum of values1,1, 2.0
。
1,1,2.0
1,2,2.0
2,1,12.0
3,1,3.0
3,2,2.0
请帮助我,如何实现这一点。
答案 0 :(得分:3)
要删除重复项,请使用df.distinct
。首先汇总groupBy
然后agg
。把这一切放在一起:
case class Rating(userId: Int, movieId: Int, rating: Float)
def pRating(str: String): Rating = {
val fields = str.split("::")
assert(fields.size == 3)
Rating(fields(0).toInt, fields(1).toInt, fields(2).toFloat)
}
val ratings = spark.read.textFile("C:/Users/test/Desktop/test1.txt").map(pRating)
val totals = ratings.distinct
.groupBy('userId, 'movieId)
.agg(sum('rating).as("rating"))
.as[Rating]
我不确定您是否希望最终结果为Dataset[Rating]
以及distinct
和sum
逻辑是否完全如您所希望的那样作为示例问题不是很明确,但希望这会给你所需要的东西。
答案 1 :(得分:0)
ratings.groupBy("userId","movieId").sum(rating)