Question

我有一个巨大的新闻数据库，但每当我尝试sqoop它，它写入2-3个文件而不是整个200.

sqoop import -D mapred.map.max.attempts=4 \
  -D dfs.blocksize=1073741824 \
  -D oraoop.block.allocation=RANDOM \
  -D mapred.job.queue.name=default \
  -m 200 \
  --split-by AUTHOR_ID \
  --connect jdbc:oracle:thin:@$127.0.0.1:1521:SRDB \
  --username abc \
  --password 1234 \
  --table L.ARTICLE \
  --null-string '' \
  --null-non-string '' \
  --target-dir /data/output1.0
  --outdir /tmp/output

但是，当我运行它时，我得到的是202个文件而不是200个文件。其中只有3个文件有数据，其余的输出文件都是空的。

我做错了什么？任何提示都将不胜感激！

谢谢

Answer 1

您正在分割AUTHOR_ID

最可能的原因 -

AUTHOR_ID （您正在拆分）不均匀分布。

内部sqoop用于获取拆分列的最小值和最大值。

SELECT MIN(AUTHOR_ID) and MAX(AUTHOR_ID) FROM L.ARTICLE

上述查询的输出是：

1,20000

现在基于这些值，它将进行范围查询，如：

SELECT * FROM L.ARTICLE WHERE AUTHOR_ID>=1 AND AUTHOR_ID<100
SELECT * FROM L.ARTICLE WHERE AUTHOR_ID>=100 AND AUTHOR_ID<200
SELECT * FROM L.ARTICLE WHERE AUTHOR_ID>=200 AND AUTHOR_ID<300
.
. 
.
SELECT * FROM L.ARTICLE WHERE AUTHOR_ID>=19900 AND AUTHOR_ID<20000

（您可以在sqoop命令本身中观察到这一点。在sqoop命令中添加--verbose，以便您可以看到扩展日志。）

现在，如果数据不是均匀分布的，那么只有少数映射器会获取记录而其他映射器都是空的。

例如，假设您的数据中我们有以下情况：

author_id record 
1 record1
19900 record19900  
19901 record19901 
19902 record19902 
19903 record19903 
19904 record19904 
19905 record19905
19906 record19906

映射器＃0将sqoop 1记录，映射器＃199将sqoop 7记录。您可以使用大量记录推断此案例。

SQOOP输出文件大小不均匀

1 个答案: