从Hive表获取值的有效方法-Spark和Scala

时间:2018-08-21 13:47:16

标签: apache-spark hive

我有一个小的数据框,其值为empID(其中可能有10行)。如果empID匹配,我需要从Hive表中获取员工的其他详细信息。雇员配置单元表具有数百万条记录。

如何查找匹配项并以有效方式获取其他详细信息。

现在,我已经在内存中加载了完整的employee表,并尝试从数据框中匹配empID,如果id匹配,则读取值。这需要很长时间才能处理,请提出其他替代方案以加快该过程。

预先感谢您的帮助。

谢谢, 鲍勃

0 个答案:

没有答案