Question

我正在尝试创建一个bash脚本，它将下载一个youtube页面，查看最新视频并找到它的URL。我有下载页面的部分，除了我无法弄清楚如何使用url隔离文本。我有这个下载页面

curl -s https://www.youtube.com/user/h3h3Productions/videos > YoutubePage.txt

将其保存到文件中。但我无法弄清楚如何隔离div的单个部分。 div是

<a class="yt-uix-sessionlink yt-uix-tile-link  spf-link  yt-ui-ellipsis yt-ui-ellipsis-2" dir="ltr" title="Why I'm Unlisting the Leafyishere Rant" aria-describedby="description-id-877692" data-sessionlink="ei=a2lSV9zEI9PJ-wODjKuICg&amp;feature=c4-videos-u&amp;ved=CD4QvxsiEwicpteI1I3NAhXT5H4KHQPGCqEomxw" href="/watch?v=q6TNODqcHWA">Why I'm Unlisting the Leafyishere Rant</a>

我需要在最后隔离href，但我无法弄清楚如何使用grep或sed来做到这一点。

Answer 1

使用sed：

sed -n 's/<a [^>]*>/\n&/g;s/.*<a.*href="\([^"]*\)".*/\1/p'  YoutubePage.txt

仅提取视频ahref：

$ sed -n 's/<a [^>]*>/\n&/g;s/.*<a.*href="\(\/watch\?[^"]*\)".*/\1/p' YoutubePage.txt
/watch?v=q6TNODqcHWA
/watch?v=q6TNODqcHWA
/watch?v=ix4mTekl3MM
/watch?v=ix4mTekl3MM
/watch?v=fEGVOysbC8w
/watch?v=fEGVOysbC8w
...

省略重复的行：

$ sed -n 's/<a [^>]*>/\n&/g;s/.*<a.*href="\(\/watch\?[^"]*\)".*/\1/p' YoutubePage.txt | sort | uniq
/watch?v=2QOx7vmjV2E
/watch?v=4UNLhoePqqQ
/watch?v=5IoTGVeqwjw
/watch?v=8qwxYaZhUGA
/watch?v=AemSBOsfhc0
/watch?v=CrKkjXMYFzs
...

您也可以将其传递给curl命令：

curl -s https://www.youtube.com/user/h3h3Productions/videos | sed -n 's/<a [^>]*>/\n&/g;s/.*<a.*href="\(\/watch\?[^"]*\)".*/\1/p' | sort | uniq

Answer 2

您可以使用lynx这是一个终端浏览器，但具有-dump模式，该模式将输出HTML解析文本，并提取URL。这样可以更容易地grep URL：

lynx -dump 'https://www.youtube.com/user/h3h3Productions/videos' \
  | sed -n '/\/watch?/s/^ *[0-9]*\. *//p'

这将输出如下内容：

https://www.youtube.com/watch?v=EBbLPnQ-CEw
https://www.youtube.com/watch?v=2QOx7vmjV2E
...

故障：

-n '                             # Disable auto printing
    /\/watch?/                   # Match lines with /watch?
              s/^ *[0-9]*\. *//  # Remove leading index: " 123. https://..." -> 
                                 # "https://..."
                               p # Print line if all the above have not failed.
                                '

我无法弄清楚如何在bash

2 个答案: