全新的Scala,对不起这个简单的问题。我需要在Scala中生成map reduce逻辑,它根据文本文件中的单词创建键值对。单词是键,单词的计数是值。
我的问题:我需要所有小键为小写
我目前的代码:
val test = sc.textFile("cat.txt");
val flattenMap = test.flatMap(line => line.split(" "));
val mapreduce = flattenMap.map(word => (word, 1)).reduceByKey((a,b) => a+b);
我的钥匙是大小写的,我希望它们都是小写的。谢谢。
答案 0 :(得分:1)
我通过在第3行使用以下语句解决了这个问题:
val mapreduce = flattenMap.map(word => (word.toLowerCase, 1)).reduceByKey((a,b) => a+b);