我写了两个不同的脚本如下:
# Script 1:
current_date=$(date +"%m-%d-%Y")
logsPath="/hadoop_common/smallsite/realtime/current/spark/logs"
find $logsPath -maxdepth 1 -name "*$current_date*" -print > tmp
和
# Script 2:
current_date=$(date +"%m-%d-%Y")
logsPath="/hadoop_common/smallsite/realtime/current/spark/logs"
ls $logsPath | grep "$current_date" > tmp
sed -i "s|^|$logsPath|" tmp
第一个脚本需要24分钟才能列出2367 filePath,第二个脚本需要16秒才能列出相同数量的filePath。
为什么这么大的差异?我在不同的日子,多次以任何顺序运行它们,并且总是第一个脚本花了20多分钟,第二个脚本花了不到20秒。
OS:Red Hat
更新2
find(GNU findutils)4.4.2
我运行了这个脚本
#!/bin/bash
current_date=$(date +"%m-%d-%Y")
logsPath="/hadoop_common/smallsite/realtime/current/spark/logs"
touch resultStat
date >> resultStat
ls $logsPath | grep "$current_date" > tmp1
sed -i "s|^|$logsPath|" tmp1
date >> resultStat
find $logsPath -maxdepth 1 -type f -name "*$current_date*" -print > tmp2
date >> resultStat
strace ls "$logsPath" 2>&1 | grep -c stat >> resultStat
date >> resultStat
strace find "$logsPath" -maxdepth 1 -name "*$current_date*" -print 2>&1 | grep -c stat >> resultStat
date >> resultStat
ls -1q $logsPath | wc -l >> resultStat
date >> resultStat
files=(/hadoop_common/smallsite/realtime/current/spark/logs/*"$(date +%m-%d-%Y)"* )
date >> resultStat
resultStat内容:
Thu Mar 29 19:14:28 UTC 2018
Thu Mar 29 19:14:47 UTC 2018
Thu Mar 29 19:41:26 UTC 2018
14
Thu Mar 29 19:41:44 UTC 2018
189805
Thu Mar 29 20:08:30 UTC 2018
190348
Thu Mar 29 20:08:48 UTC 2018
Thu Mar 29 20:09:06 UTC 2018