Question

我正在使用此脚本下载文件：

parallel --progress -j16 -a ./temp/img-url.txt 'wget -nc -q -P ./images/ {}; wget -nc -q -P ./images/ {.}_{001..005}.jpg'

是否可以不下载文件，只需在远程端检查它们，是否存在创建虚拟文件而不是下载？

类似的东西：

if wget --spider $url 2>/dev/null; then
  #touch img.file
fi

应该可行，但我不知道如何将此代码与GNU Parallel结合使用。

编辑：

根据Ole的回答，我写了这段代码：

#!/bin/bash
do_url() {
  url="$1"
  wget -q -nc  --method HEAD "$url" && touch ./images/${url##*/}   
  #get filename from $url
  url2=${url##*/}
  wget -q -nc  --method HEAD ${url%.jpg}_{001..005}.jpg && touch ./images/${url2%.jpg}_{001..005}.jpg
}
export -f do_url

parallel --progress -a urls.txt do_url {}

它有效，但某些文件失败了。我无法找到为什么它适用于某些文件的一致性，为什么它对其他文件失败。也许它有最后一个文件名的东西。第二个wget尝试访问当前url，但之后的touch命令根本不会创建desidered文件。第一个wget总是（正确地）下载没有_001.jpg，_002.jpg的主图像。

示例urls.txt：

http://host.com/092401.jpg（工作正常，_001.jpg .._ 005.jpg已下载） http://host.com/HT11019.jpg（不起作用，只下载主图像）

Answer 1

您可以使用curl来检查您正在解析的网址是否存在，而不下载任何文件：

if curl --head --fail --silent "$url" >/dev/null; then
    touch .images/"${url##*/}"
fi

说明：

--fail会使失败的请求退出状态非零。
--head将避免下载文件内容
--silent将避免检查本身发出状态或错误。

解决＆＃34;循环＆＃34;问题，你可以这样做：

urls=( "${url%.jpg}"_{001..005}.jpg )
for url in "${urls[@]}"; do
    if curl --head --silent --fail "$url" > /dev/null; then
        touch .images/${url##*/}
    fi
done

Answer 2

从我所看到的，你的问题并不是关于如何使用wget来测试文件是否存在，而是关于如何在shell脚本中执行正确的循环。

这是一个简单的解决方案：

urls=( "${url%.jpg}"_{001..005}.jpg )
for url in "${urls[@]}"; do
    if wget -q --method=HEAD "$url"; then
        touch .images/${url##*/}
    fi
done

这样做是因为它使用--method=HEAD选项调用Wget。使用HEAD请求，服务器将简单地报告文件是否存在，而不返回任何数据。

当然，对于大数据集，这是非常低效的。您正在为您尝试的每个文件创建与服务器的新连接。相反，正如在另一个答案中所建议的那样，您可以使用GNU Wget2。使用wget2，您可以并行测试所有这些，并使用新的--stats-server选项查找所有文件的列表以及服务器提供的特定返回码。例如：

$ wget2 --spider --progress=none -q --stats-site example.com/{,1,2,3}                                                             
Site Statistics:

  http://example.com:
    Status    No. of docs
       404              3
         http://example.com/3  0 bytes (identity) : 0 bytes (decompressed), 238ms (transfer) : 238ms (response)
         http://example.com/1  0 bytes (gzip) : 0 bytes (decompressed), 241ms (transfer) : 241ms (response)
         http://example.com/2  0 bytes (identity) : 0 bytes (decompressed), 238ms (transfer) : 238ms (response)
       200              1
         http://example.com/  0 bytes (identity) : 0 bytes (decompressed), 231ms (transfer) : 231ms (response)

您甚至可以将这些数据打印为CSV或JSON，以便于解析

Answer 3

很难理解真正想要完成的是什么。让我试着改写一下你的问题。

我的urls.txt包含：
http://example.com/dira/foo.jpg
http://example.com/dira/bar.jpg
http://example.com/dirb/foo.jpg
http://example.com/dirb/baz.jpg
http://example.org/dira/foo.jpg
在example.com这些网址存在：
http://example.com/dira/foo.jpg
http://example.com/dira/foo_001.jpg
http://example.com/dira/foo_003.jpg
http://example.com/dira/foo_005.jpg
http://example.com/dira/bar_000.jpg
http://example.com/dira/bar_002.jpg
http://example.com/dira/bar_004.jpg
http://example.com/dira/fubar.jpg
http://example.com/dirb/foo.jpg
http://example.com/dirb/baz.jpg
http://example.com/dirb/baz_001.jpg
http://example.com/dirb/baz_005.jpg
在example.org这些网址存在：
http://example.org/dira/foo_001.jpg
鉴于urls.txt除了原始网址，我还希望与_001.jpg .. _005.jpg生成组合。 E.g：
http://example.com/dira/foo.jpg
变为：
http://example.com/dira/foo.jpg
http://example.com/dira/foo_001.jpg
http://example.com/dira/foo_002.jpg
http://example.com/dira/foo_003.jpg
http://example.com/dira/foo_004.jpg
http://example.com/dira/foo_005.jpg
然后我想测试这些URL是否存在而不下载文件。由于有很多网址，我想并行执行此操作。

如果URL存在，我想创建一个空文件。

（版本1）：我想在dir images中的类似目录结构中创建空文件。这是必要的，因为一些图像具有相同的名称，但在不同的目录中。

所以创建的文件应该是：
images/http:/example.com/dira/foo.jpg
images/http:/example.com/dira/foo_001.jpg
images/http:/example.com/dira/foo_003.jpg
images/http:/example.com/dira/foo_005.jpg
images/http:/example.com/dira/bar_000.jpg
images/http:/example.com/dira/bar_002.jpg
images/http:/example.com/dira/bar_004.jpg
images/http:/example.com/dirb/foo.jpg
images/http:/example.com/dirb/baz.jpg
images/http:/example.com/dirb/baz_001.jpg
images/http:/example.com/dirb/baz_005.jpg
images/http:/example.org/dira/foo_001.jpg
（版本2）：我想要在目录images中创建的空文件。这可以完成，因为所有图像都有唯一的名称。

所以创建的文件应该是：
images/foo.jpg
images/foo_001.jpg
images/foo_003.jpg
images/foo_005.jpg
images/bar_000.jpg
images/bar_002.jpg
images/bar_004.jpg
images/baz.jpg
images/baz_001.jpg
images/baz_005.jpg
（版本3）：我希望在images中创建的空文件名为urls.txt。这可以完成，因为只有_001.jpg .. _005.jpg中的一个存在。
images/foo.jpg
images/bar.jpg
images/baz.jpg

#!/bin/bash

do_url() {
  url="$1"

  # Version 1:
  # If you want to keep the folder structure from the server (similar to wget -m):
  wget -q --method HEAD "$url" && mkdir -p images/"$2" && touch images/"$url"

  # Version 2:
  # If all the images have unique names and you want all images in a single dir
  wget -q --method HEAD "$url" && touch images/"$3"

  # Version 3:
  # If all the images have unique names when _###.jpg is removed and you want all images in a single dir
  wget -q --method HEAD "$url" && touch images/"$4"

}
export -f do_url

parallel do_url {1.}{2} {1//} {1/.}{2} {1/} :::: urls.txt ::: .jpg _{001..005}.jpg

GNU Parallel每个作业需要几毫秒。当你的工作很短时，开销会影响时间。如果您的CPU核心都没有以100％运行，您可以并行运行更多作业：

parallel -j0 do_url {1.}{2} {1//} {1/.}{2} {1/} :::: urls.txt ::: .jpg _{001..005}.jpg

您还可以“展开”循环。这将为每个URL节省5个开销：

do_url() {
  url="$1"
  # Version 2:
  # If all the images have unique names and you want all images in a single dir
  wget -q --method HEAD "$url".jpg && touch images/"$url".jpg
  wget -q --method HEAD "$url"_001.jpg && touch images/"$url"_001.jpg
  wget -q --method HEAD "$url"_002.jpg && touch images/"$url"_002.jpg
  wget -q --method HEAD "$url"_003.jpg && touch images/"$url"_003.jpg
  wget -q --method HEAD "$url"_004.jpg && touch images/"$url"_004.jpg
  wget -q --method HEAD "$url"_005.jpg && touch images/"$url"_005.jpg
}
export -f do_url

parallel -j0 do_url {.} :::: urls.txt

最后，您可以运行超过250个职位：https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Running-more-than-250-jobs-workaround

Answer 4

只是循环遍历名称？

for uname in ${url%.jpg}_{001..005}.jpg
do
  if wget --spider $uname 2>/dev/null; then
    touch ./images/${uname##*/}
  fi
done

Answer 5

您可以通过ssh发送命令以查看远程文件是否存在，如果存在则捕获它：

ssh your_host 'test -e "somefile" && cat "somefile"' > somefile

还可以尝试支持glob表达式和递归的scp。

检查bash

5 个答案: