Question

我开始使用hadoop fsimage来验证我们的ETL进程正确加载数据（使用适当的文件大小）。我解析图像并通过Impala使其可用。我注意到，对于我的查询显示为错误加载的所有文件（文件大小错误），fsimage中显示的文件大小为2147483647。但是，如果我用hadoop fs -du查看HDFS，我会得到一个不同的（和正确的）文件大小。有什么想法为什么fsimage会显示这个数字？如果我得到一个新图像并再次搜索，那么无论我看过去多少天，这个值仍然是不正确的。

编辑：获取图像的代码不是由我开发的：

sudo ssh hostname 'hdfs oiv -p Delimited -i $(ls -t /dfs/nn/current/fsimage_* | grep -v md5 | head -1) -o /dev/stdout 2>/dev/null' | grep -v "/.Trash/" |sed -e 's/\r/\\r/g' | awk 'BEGIN { FS="\t"; OFS="\t" } $0 !~ /_impala_insert_staging/ && ($0 ~ /^\/user\/hive\/warehouse\/cz_prd/ ||   
$0 ~ /^\/user\/hive\/warehouse\/cz_tst/) { split($1,a,"/"); db=a[5]; table=a[6]; gsub(".db$", "", table); } db && $10 ~ /^d/ {par=""; for(i=7;i<=length(a);i++) par=par"/"a[i] } db && $10 !~ /^d/ { par=""; for(i=7;i<=length(a) - 1;i++) par=par"/"a[i]; file=a[length(a)] } NR > 1 { print db,table, par, file, $0 }' | hadoop fs -put -f - 
/user/hive/warehouse/cz_prd_mon_ma.db/hive_warehouse_files/fsimage.tsv

Answer 1

像我一样愚蠢，我把SQL表定义输入到int。
当我用hadoop fs -cat command显示文件时，它看起来不错，所以我将列更改为bigint，现在它正确显示大小。

文件系统映像文件大小不正确

1 个答案: