为什么这是非递归的"发现"比搜索" ls"的输出慢得多?

时间:2018-03-29 16:02:36

标签: bash gnu-findutils find-util

我写了两个不同的脚本如下:

# Script 1:
current_date=$(date +"%m-%d-%Y")
logsPath="/hadoop_common/smallsite/realtime/current/spark/logs"

find $logsPath -maxdepth 1 -name "*$current_date*" -print > tmp

# Script 2:
current_date=$(date +"%m-%d-%Y")
logsPath="/hadoop_common/smallsite/realtime/current/spark/logs"

ls $logsPath | grep "$current_date" > tmp
sed -i "s|^|$logsPath|" tmp

第一个脚本需要24分钟才能列出2367 filePath,第二个脚本需要16秒才能列出相同数量的filePath。

为什么这么大的差异?我在不同的日子,多次以任何顺序运行它们,并且总是第一个脚本花了20多分钟,第二个脚本花了不到20秒。

OS:Red Hat

更新2

find(GNU findutils)4.4.2

我运行了这个脚本

#!/bin/bash

current_date=$(date +"%m-%d-%Y")

logsPath="/hadoop_common/smallsite/realtime/current/spark/logs"

touch resultStat

date >> resultStat

ls $logsPath | grep "$current_date" > tmp1
sed -i "s|^|$logsPath|" tmp1

date >> resultStat

find $logsPath -maxdepth 1 -type f -name "*$current_date*" -print > tmp2

date >> resultStat

strace ls "$logsPath" 2>&1 | grep -c stat >> resultStat

date >> resultStat

strace find "$logsPath" -maxdepth 1 -name "*$current_date*" -print 2>&1 | grep -c stat >> resultStat

date >> resultStat

ls -1q $logsPath | wc -l >> resultStat

date >> resultStat

files=(/hadoop_common/smallsite/realtime/current/spark/logs/*"$(date +%m-%d-%Y)"* )

date >> resultStat

resultStat内容:

Thu Mar 29 19:14:28 UTC 2018
Thu Mar 29 19:14:47 UTC 2018
Thu Mar 29 19:41:26 UTC 2018
14
Thu Mar 29 19:41:44 UTC 2018
189805
Thu Mar 29 20:08:30 UTC 2018
190348
Thu Mar 29 20:08:48 UTC 2018
Thu Mar 29 20:09:06 UTC 2018

0 个答案:

没有答案