Question

我想下载一堆名为ISO-8601日期的文件。使用bash + GNU coreutils有一种简单的方法吗？（或者让wget / curl自动生成列表的一些技巧，但我觉得不太可能）

与此问题类似，但不限于工作日：How to generate a range of nonweekend dates using tools available in bash?。我想有一种更简单的方法可以在没有这种限制的情况下做到这一点。

也与How to generate date range for random data on bash有关，但不限于一年。

Answer 1

如果你有GNU date，你可以使用for循环in any POSIX-compliant shell：

# with "for"
for i in {1..5}; do 
    echo $(date -I -d "2014-06-28 +$i days")
done

或until循环，这次使用Bash的扩展测试[[：

# with "until"
d="2014-06-29"
until [[ $d > 2014-07-03 ]]; do 
    echo "$d"
    d=$(date -I -d "$d + 1 day")
done

请注意，如果您将条件更改为sh，非古代版本的[ "$d" \> 2014-07-03 ]也会进行字典比较。

来自其中任何一个循环的输出：

为了更方便地执行相同的操作，您可以使用Perl脚本：

use strict;
use warnings;
use Time::Piece;
use Time::Seconds;    
use File::Fetch;

my ($t, $end) = map { Time::Piece->strptime($_, "%Y-%m-%d") } @ARGV; 

while ($t <= $end) {
    my $url = "http://www.example.com/" . $t->strftime("%F") . ".log";
    my $ff = File::Fetch->new( uri => $url );
    my $where = $ff->fetch( to => '.' );  # download to current directory
    $t += ONE_DAY;
}

Time :: Piece，Time :: Seconds和File :: Fetch都是核心模块。像perl wget.pl 2014-06-29 2014-07-03一样使用它。

Answer 2

使用GNU日期和bash：

start=2014-12-29
end=2015-01-03
while ! [[ $start > $end ]]; do
    echo $start
    start=$(date -d "$start + 1 day" +%F)
done

Answer 3

如果您使用的是macOS，则date的工作方式与GNU date有所不同。这是Tom Fenech的date调用的变体，它支持GNU和Darwin：

if [ $(uname) = 'Darwin' ]; then
    d=$(date -j -v+1d -f %Y-%m-%d $d +%Y-%m-%d)
elif [ $(uname) = 'Linux' ]; then
    d=$(date -I -d "$d + 1 day")
fi

Answer 4

这就是我最终做到的方式：

d=$(date -I);
while wget "http://www.example.com/$d.log"; do
    d=$(date -I -d "$d - 1 day");
done

这会尝试从今天的日期开始下载所有文件，直到我们获得404。

Answer 5

我使用这个方便的函数来处理 yyyymmdd.log.gz 格式的日志文件：

function datelist { for dt in $(seq -w $1 $2) ; do date -d $dt +'%Y%m%d' 2>/dev/null ; done ; }

它接受 yyyymmdd 格式的日期。

如何使用bash中提供的工具生成范围内所有日期的列表？

5 个答案: