我有一个最多50K名字的列表。我需要在日志中搜索,这些是在多个zip文件中。这些zip文件在不同的文件夹和巨大的(高达450GB)。并且zip文件中有多个文件。
现在我正在迭代每个zip文件和每个文件的日志文件并在其中搜索名称。
cd /disk1/ABCDEFArchive/
while read pl; do
echo Searching $pl
for i in 3 3-AB 3-CD 3-EF 4 4-AB 4-CD 4-EF 5 5-AB 5-CD 5-EF
do
cd web$i
for j in 2017-09 2017-10 2017-11 2017-12 2017-01 2017-02
do
for k in $(unzip -l ABCDEF-${j}.zip | awk '{print $4}' | grep ABCDEF)
do
echo "searching $pl in web$i ===>>> ABCDEF-${j}.zip ===>>> $k "
isexists=$(unzip -p ABCDEF-${j}.zip $k | grep "=${pl}" | head -1 )
if [[ ! -z "$isexists" ]]; then
mysql -e "update test.product_list_tobedeleted set foundinlogs=1 where list_name =\"${pl}\";"
echo "$pl@@@$isexists" >>${ScriptPath}/ProductlistFound.csv
break 3
fi
done
done
cd ..
done
但是自从一个月以来它的工作速度非常慢,仍然是3000的名字
我还尝试了一些更多的工作,比如在zip文件中找到每个日志文件中的迭代等,但这些更糟糕。