另一个用例：

Question

我有一个用例，我想使用其他数据集中的值。例如：

表1：项目

Name | Price
------------
Apple |10

Mango| 20

Grape |30

表2：Item_Quantity

Name | Quantity
Apple |5
Mango| 2
Grape |2

我想计算总费用并准备最终数据集。

Cost
Name | Cost
Apple |50  (10*5)
Mango| 40  (20*2)
Grape |60   (30*2)

我怎样才能在火花中实现这一目标？感谢您的帮助。

===================

另一个用例：

也需要帮助...

表1：项目

Name | Code | Quantity
-------------------
Apple-1 |APP | 10
Mango-1| MAN | 20
Grape-1|GRA | 30
Apple-2 |APP | 20
Mango-2| MAN | 30
Grape -2|GRA | 50


Table 2 : Item_CODE_Price

Code | Price
----------------
APP |5
MAN| 2
GRA |2

I want to calculate total cost using code to get the price and prepare a final dataset.

Cost
Name | Cost
--------------
Apple-1 |50  (10*5)
Mango-1| 40  (20*2)
Grape-1 |60   (30*2)
Apple-2 |100  (20*5)
Mango-2| 60  (30*2)
Grape-2 |100   (50*2)

Answer 1

您可以join使用相同Name的两个表格，并使用column创建一个新的withColumn，如下所示

  val df1 = spark.sparkContext.parallelize(Seq(
    ("Apple",10),
    ("Mango",20),
    ("Grape",30)
  )).toDF("Name","Price" )


  val df2 = spark.sparkContext.parallelize(Seq(
    ("Apple",5),
    ("Mango",2),
    ("Grape",2)
  )).toDF("Name","Quantity" )


  //join and create new column
  val newDF = df1.join(df2, Seq("Name"))
    .withColumn("Cost", $"Price" * $"Quantity")

  newDF.show(false)

输出：

+-----+-----+--------+----+
|Name |Price|Quantity|Cost|
+-----+-----+--------+----+
|Grape|30   |2       |60  |
|Mango|20   |2       |40  |
|Apple|10   |5       |50  |
+-----+-----+--------+----+

第二种情况是你只需加入Code并删除你不想要的最终列

val newDF = df2.join(df1, Seq("CODE"))
    .withColumn("Cost", $"Price" * $"Quantity")
    .drop("Code", "Price", "Quantity")

这个例子在scala中，如果你需要在java中获得很大的区别

希望这有帮助！

在spark中访问多个数据集

另一个用例：

1 个答案: