Sqoop进口宽桌

时间:2018-12-23 04:49:17

标签: oracle sqoop

从oracle批量导入宽表需要很多时间

该表具有300多个列和大约7,000万行。尝试了性能调整选项:

num mappers 15
fetch size 100000

1 个答案:

答案 0 :(得分:0)

使用您描述的大表意味着修改一些额外的参数(例如map)并减少内存和Java最大堆。我为表共享了一些配置,但配置不算太大,但可以优化我们的处理时间。

window.addEventListener('scroll', function (event) {...});

PD:我使用Sqoop 1,并且建议您检查Sqoop Documentation以获得有关这些参数的更多详细信息。