Question

我的文件夹中有20万个文件，我想根据出生时间（创建时间）来组织它们。我写了下面的脚本，但它太慢了。我想改善它。我该怎么办？

#!/usr/bin/env bash
echo Input directory is $1
input_directory=$1

## Find those files that are older than a month

inputfiles=$(hadoop fs -ls  $input_directory | sed '1d;s/  */ /g' | cut -d\  -f8)

for filename in $inputfiles
  do
   echo processing $filename

   hadoop fs -test -d  $filename

   lastcommand=$?

   if [ "$lastcommand" == "1" ];then

        year=$(date -d "`hadoop fs -stat $filename`" +%Y)
        month=$(date -d "`hadoop fs -stat $filename`" +%m)

        hadoop fs -test -d $input_directory/$year-$month
        lastcommand2=$?

        [[ "$lastcommand2" == "1" ]] && hadoop fs -mkdir -p $input_directory/$year-$month;

        hadoop fs -mv $filename $input_directory/$year-$month/
    else
        echo not a file
   fi
  done

Answer 1

我能够使用hadoop文件系统重命名命令来移动苍蝇，它的工作原理很吸引人。将时间从几个小时缩短到一分钟。谢谢

如何根据Hadoop中的出生时间移动文件

1 个答案: