sqoop导出性能问题

Question

我在通过sqoop导出将数据从Hive导出到Netezza时遇到了性能问题。

有没有办法改善sqoop的性能？

以下是详细信息：

- (void)setMaskByRoundingCorners:(UIRectCorner)corners withCornerRadius:(float)radius
    {
        UIBezierPath* rounded = [UIBezierPath bezierPathWithRoundedRect:self.bounds byRoundingCorners:corners cornerRadii:CGSizeMake(radius, radius)];

        CAShapeLayer* shape = [[CAShapeLayer alloc] init];
        [shape setPath:rounded.CGPath];
        shape.frame = self.bounds;
        self.layer.mask = shape;
    }

Answer 1

在sqoop export命令中使用-batch。 还

要进一步改善数据加载，可以使用--direct。 限制：此模式不支持二进制和大对象类型。

Answer 2

您的群集大小是多少，您可以为Sqoop作业分配多少个最大插槽？因此给出-m。这将增加整体处理时间。但请确保sqoop导出不是原子进程，因此创建一个临时表，然后使用登台表导出数据，否则可能存在数据不一致的可能性。