Scala中的ListBuffer用于创建记录

时间:2019-05-03 20:48:11

标签: scala apache-spark

我们如何创建记录并将数据插入到Hive表中

我正在使用scala XML API从XML文件中收集以下值。

  1. 名称
  2. 部门
  3. 地址

我将获得数百万条包含此信息的记录。

所以我必须仔细检查每个标签并收集上述信息并进行记录。

我正在这样做,如下:

val parse_record = BufferList[String]
val parse_record += (name,dept,address)

在此之后,我们如何合并所有这些记录,一旦我处理并创建了所有记录,就如何将其插入到蜂巢表中。

例如,

我最终获得了4条记录,我想将其转换为数据框并插入到配置单元表中

parse_record1(name,dept,address)
parse_record2(name,dept,address)
parse_record3(name,dept,address)
parse_record4(name,dept,address

有人可以指导我如何实现这一点。我正在使用Spark 2.3.1和Scala 2.11。

0 个答案:

没有答案