检查hdfs中的文件大小

时间:2018-05-10 05:37:51

标签: shell unix hadoop hdfs

我可以使用以下命令检索hdfs文件的大小:

pages = mydf%>% group_by(session_id) %>% do(predicSet = recommenSet(mylist,as.vector(.$requestId)))



recommenSet = function(mylist,pages){

    recSet = lappy(mylist,function(x){

    a = x[order(x)]
    a = as.character(a)

    b = pages[order(pages)]
    b = as.character(b)

   LCS(a,b)
    #give me setdiff of a and b where LLCS is max among mylist items
    setdiff(a,b)
    })
    #recSet = unlist(recSet);
    #recSet = unique(recSet);
  }

  return(recSet)
}

给出输出为82(以字节为单位)。 现在我想将此文件与另一个文件合并,只要它的大小小于100 MB。我使用shell脚本将所有这些命令写在一个文件中。 如何将其转换为MB然后比较大小?是否有任何具体的命令?

0 个答案:

没有答案