我不熟悉大数据,当我使用Sqoop命令将数据从teradata导入到Hadoop集群中时,遇到“数据库中没有空间”错误 我正在执行以下操作:
1。我要提取到Hadoop集群中的数据是一个 view 表 2.我已经使用了以下sqoop命令
sqoop import --connect "jdbc:teradata://xxx.xxx.xxx.xxx/DATABASE=XY" \
-- username user1 \
-- password xyc
-- query "
SELECT * FROM TABLE1 WHERE .... AND \$CONDITIONS \
" \
--split-by ITEM_1 \
--delete-target-dir \
--target-dir /user/home/folder1 \
--as-avrodatafile;
我知道默认映射器是4,因为我的视图没有主键,所以我使用的是分割方式。
使用-num-mappers 1 可以正常工作,但是要花很长时间才能移植大约36GB的数据,因此我想将num-mappers增加到4个或更多。出现“没有更多空间”错误。有人知道发生了什么吗?