如何从Scala ListBuffer实现结构化记录

时间:2019-05-04 19:35:07

标签: scala apache-spark

我是scala的新手,我需要从XML收集数据并将其作为记录,并对所有XML标签重复此步骤(假设我有一个名为IP的标签,并且在一个XML中将获得1000个IP)。

最后,我需要将所有这些记录写在Hive中。

我正在尝试通过使用ListBuffer来实现这一点,方法是使用scala XML API收集每个XML标签中的所有元素,并将它们添加到ListBuffer中。

$DB_NAME

添加所有必需的元素后,我对如何添加下一条记录以重复记录1000条感到惊讶。

我还需要定义结构以将这些记录插入到Hive中。为此,我们可以将该记录转换为Dataframe还是有其他选择?

请帮助我实施,非常感谢您的帮助。

谢谢, 鲍勃

0 个答案:

没有答案