我正在尝试安排涉及bash脚本的cron作业,该脚本调用scrapy抓取命令。对于其中一个令人抓狂的参数,我有一个名为query
的参数,这是我希望开始抓取的日期时间。
这是scrapy命令:
scrapy crawl TweetScraper -a query=$QUERY
要注意的唯一重要的事情是,我正在尝试将query
参数设置为由之前定义的Query变量定义的变量。
这是完整的代码:
#!/bin/bash
QUERY=$(printf "#DeepLearning since: %(%Y-%m-%dT%H:%M:%S)T" $(($(printf "%(%s)T") - 1 * 60)))
echo $QUERY
scrapy crawl TweetScraper -a query=$QUERY
查询基于subtract 1 hour from date in unix shell script。
理想情况下,我想将参数设置为当前时间前一小时。这种构造可能吗?目前,我遇到了一个错误,因为scrapy将查询解释为两个不同的变量。