标签: apache-spark hive
我有一个小的数据框,其值为empID(其中可能有10行)。如果empID匹配,我需要从Hive表中获取员工的其他详细信息。雇员配置单元表具有数百万条记录。
如何查找匹配项并以有效方式获取其他详细信息。
现在,我已经在内存中加载了完整的employee表,并尝试从数据框中匹配empID,如果id匹配,则读取值。这需要很长时间才能处理,请提出其他替代方案以加快该过程。
预先感谢您的帮助。
谢谢, 鲍勃