我正在学习如何使用Python处理Spark RDD
而我根据rdd.filter()
找不到具有where
条件的解决方案。
我有一个CSV文件,如下所示:
id,firstname,city,age,job,salary,childen,awards
1, Yves, OLS-ET-RINHODES, 55, Pilote de chasse, 3395, 3, 3
2, Paul, MARTOT, 32, Pilote d'helicoptere, 2222, 4, 5
3, Steve, DIEULEFIT, 53, Navigateur aerien, 2152, 3, 2
4, Valentin, FEUILLADE, 27, Pilote de chasse, 1776, 0, 2
...
这是我的python脚本:
#!/usr/bin/python
# -*- coding: utf-8 -*-
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext, SparkSession
#Context properties
conf = SparkConf().setAppName("Aeroport")
sc = SparkContext(conf=conf)
#Data Reading
data = sc.textFile("hdfs://master:9000/testfile.csv")
#Split each column
dataset = data.map(lambda l: l.split(','))
#Search children number by city
nbChildByCity = dataset.map(lambda row : (row[2],1)).reduceByKey(lambda a,b:a+b)
print "Nombre enfant par ville naissance : " + str(nbChildByCity.collect())
#Search children number by city with father > 50 years old
nbChildByCityFather = dataset.filter(lambda row : row[3] > 50 in nbChildByCity)
#nbChildByCityFather = dataset.filter(lambda row : row[3] > 50 in row[1])
print "Nombre enfant par ville naissance avec père > 50 ans : " + str(nbChildByCityFather.collect())
我的问题是:#搜索带有父亲的城市的儿童数量> 50岁
我没有克服添加最后一个条件:father > 50 years old
。我如何将where
条件写入RDD?
我试过了:
nbChildByCityFather = dataset.filter(lambda row : row[3] > 50 in nbChildByCity)
nbChildByCityFather = dataset.filter(lambda row : row[3] > 50 in row[1])
但没有结果..
答案 0 :(得分:2)
使用数据框架API更容易,更有效地实现(参见底部的替代方法)。
要获得行中年龄超过50的条目数,首先需要过滤。您还需要在reduce
电话中使用年龄栏(索引6):
按城市划分的儿童人数:
nbChildByCity = data.map(lambda row : (row[2], int(row[6].strip())))
#note that it's using child count, not 1
nbChildByCity.collect()
输出:
[(' OLS-ET-RINHODES', 3), (' MARTOT', 4), (' DIEULEFIT', 3), (' FEUILLADE', 0)]
同样,但是wi:
nbChildByCity50 = rdd.filter(lambda l: int(l[3]) > 50 )\
.map(lambda row : (row[2], int(row[6].strip()) ))\
.reduceByKey(lambda a,b:a+b)
print("Nombre enfant par ville naissance :" + str(nbChildByCity50.collect()))
输出:
Nombre enfant par ville naissance :[(' OLS-ET-RINHODES', 3), (' DIEULEFIT', 3)]
请注意,使用数据框API执行此操作更简单,更合适:
df = spark.read.csv('cities.csv', header=True, inferSchema=True)
grp = df.groupBy(['city'])
grp.sum('childen').show()
给出了:
+----------------+------------+
| city|sum(childen)|
+----------------+------------+
| FEUILLADE| 0.0|
| MARTOT| 4.0|
| DIEULEFIT| 3.0|
| OLS-ET-RINHODES| 3.0|
+----------------+------------+
按年龄过滤:
grp = df.where('age > 50').groupBy(['city'])
grp.sum('childen').show()
哪个输出:
+----------------+------------+
| city|sum(childen)|
+----------------+------------+
| DIEULEFIT| 3.0|
| OLS-ET-RINHODES| 3.0|
+----------------+------------+
答案 1 :(得分:1)
在应用filter
reduceByKey
nbChildByCityFather = dataset.filter(lambda row : int(row[3].strip()) > 50).map(lambda row : (row[2],1)).reduceByKey(lambda a,b:a+b)
print "Nombre enfant par ville naissance avec pere > 50 ans : " + str(nbChildByCityFather.collect())
注意:此方法仅在从csv文件中删除标题行或以某种方式过滤它时才有效。