从Teradata导入Sqoop-数据库中没有更多空间

时间:2019-03-06 10:54:26

标签: hadoop bigdata teradata sqoop

我不熟悉大数据,当我使用Sqoop命令将数据从teradata导入到Hadoop集群中时,遇到“数据库中没有空间”错误 我正在执行以下操作:

1。我要提取到Hadoop集群中的数据是一个 view 表 2.我已经使用了以下sqoop命令

 sqoop import --connect "jdbc:teradata://xxx.xxx.xxx.xxx/DATABASE=XY" \
    -- username user1 \
    -- password xyc
    -- query "
    SELECT * FROM TABLE1 WHERE .... AND \$CONDITIONS \
    " \
    --split-by ITEM_1 \
    --delete-target-dir \
    --target-dir /user/home/folder1 \
    --as-avrodatafile;

我知道默认映射器是4,因为我的视图没有主键,所以我使用的是分割方式。

使用-num-mappers 1 可以正常工作,但是要花很长时间才能移植大约36GB的数据,因此我想将num-mappers增加到4个或更多。出现“没有更多空间”错误。有人知道发生了什么吗?

0 个答案:

没有答案