我们如何创建记录并将数据插入到Hive表中
我正在使用scala XML API从XML文件中收集以下值。
我将获得数百万条包含此信息的记录。
所以我必须仔细检查每个标签并收集上述信息并进行记录。
我正在这样做,如下:
val parse_record = BufferList[String]
val parse_record += (name,dept,address)
在此之后,我们如何合并所有这些记录,一旦我处理并创建了所有记录,就如何将其插入到蜂巢表中。
例如,
我最终获得了4条记录,我想将其转换为数据框并插入到配置单元表中
parse_record1(name,dept,address)
parse_record2(name,dept,address)
parse_record3(name,dept,address)
parse_record4(name,dept,address
有人可以指导我如何实现这一点。我正在使用Spark 2.3.1和Scala 2.11。