我有两个不同的文件:Transactions.csv和Providers.csv。 Transactions.csv:0.id; 1.客户编号; 2.产品编号; 3.提供者编号; 4.数量; 5.产品价格; 6.城市
Providers.csv:0.id; 1.名字2.城市
我从Transactions.csv收到了一笔交易中购买的产品价值最高的城市列表
val transacs = sc.textFile("spark2/transactions.csv").map(line => line.split(","))
val city = transacs.map(tr => (tr(6).toString, tr(4).toInt))
val city_max = city.reduceByKey(math.max(_, _))
我需要使用providers.csv数据集,找到城市列表中提供商的名称。
有人可以给我指示吗?我知道这是一个简单的问题,但是我在spark / scala中是新手。