Question

我需要将数据从一个Hive源表复制到另一目标表。下面是带有示例数据的源表结构：

source_table
Userid  Name    Phone1   Phone2  Phone3  Address1   Address2    Address3
123     Jitu    123456   987654  111111  DELHI      GURGAON     NOIDA       
234     Mark    123456   987654  111111  UK         USA         IND

将数据从源复制到目标时，我的要求是要具有Phone1，Phone2，Phone3以及相应的Address1，Address2和Address3 目标表中单个列中的列。以下是目标表中数据的外观：

Target_table
Userid  Name    Phone_no    Address
123     Jitu    123456      DELHI
123     Jitu    987654      GURGAON
123     Jitu    111111      NOIDA
234     Mark    123456      UK
234     Mark    987654      USA
234     Mark    111111      IND

我知道最简单的方法是对源表中的每个Phone和address列对目标表进行多次插入使用配置单元查询语言或spark数据框。

还有其他有效的方法可以用来实现这一目标。

Answer 1

对于每个列索引，可以多次选择原始数据框，然后将选定的数据框通过“联合”组合为一个：

val df = Seq(
  (123, "Jitu", "123456", "987654", "111111", "DELHI", "GURGAON", "NOIDA"),
  (234, "Mark", "123456", "987654", "111111", "UK", "USA", "IND")
).toDF(
  "Userid", "Name", "Phone1", "Phone2", "Phone3", "Address1", "Address2", "Address3"
)

val columnIndexes = Seq(1, 2, 3)
val onlyOneIndexDfs = columnIndexes.map(idx =>
  df.select(
    $"Userid",
    $"Name",
    col(s"Phone$idx").alias("Phone_no"),
    col(s"Address$idx").alias("Address")))

val result = onlyOneIndexDfs.reduce(_ union _)

输出：

+------+----+--------+-------+
|Userid|Name|Phone_no|Address|
+------+----+--------+-------+
|123   |Jitu|123456  |DELHI  |
|123   |Jitu|111111  |NOIDA  |
|123   |Jitu|987654  |GURGAON|
|234   |Mark|123456  |UK     |
|234   |Mark|987654  |USA    |
|234   |Mark|111111  |IND    |
+------+----+--------+-------+

Answer 2

以防万一，如果您也对Hive感兴趣，那么在连接多个数组结果集时，横向视图会产生笛卡尔乘积。您可以使用posexplode达到相同的结果，如下所示：

select Userid,Name,phone,address
from source_table
lateral view posexplode(array(Phone1,Phone2,Phone3))  valphone as x,phone
lateral view posexplode(array(Address1,Address2,Address3)) valaddress as t,address
where x=t
;

hive> set hive.cli.print.header=true;

userid  name    phone   address
123     Jitu    123456  DELHI
123     Jitu    987654  GURGAON
123     Jitu    111111  NOIDA
234     Mark    123456  UK
234     Mark    987654  USA
234     Mark    111111  IND
Time taken: 2.759 seconds, Fetched: 6 row(s)

将数据从源配置单元表的多列复制到目标配置单元表的不同行中的单个列

2 个答案: