如何基于对另一个文件的查询从文件中接收信息?

时间:2019-02-09 18:42:45

标签: scala apache-spark

我有两个不同的文件:Transactions.csv和Providers.csv。 Transactions.csv:0.id; 1.客户编号; 2.产品编号; 3.提供者编号; 4.数量; 5.产品价格; 6.城市

Providers.csv:0.id; 1.名字2.城市

我从Transactions.csv收到了一笔交易中购买的产品价值最高的城市列表

val transacs = sc.textFile("spark2/transactions.csv").map(line => line.split(","))
val city = transacs.map(tr => (tr(6).toString, tr(4).toInt))
val city_max = city.reduceByKey(math.max(_, _))

我需要使用providers.csv数据集,找到城市列表中提供商的名称。

有人可以给我指示吗?我知道这是一个简单的问题,但是我在spark / scala中是新手。

0 个答案:

没有答案