用于抓取网站并检索每个页面的所有元信息的在线工具

Question

是否有人知道可以抓取任何指定网站并仅返回元关键字和元描述信息的免费在线工具？

Answer 1

假设您可以访问Linux / Unix：

mkdir temp
cd temp
wget -r SITE_ADDRESS

然后，对于关键字：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g'

和描述：

egrep -r -h 'meta[^>]+name="description' * | sed 's/^.*content="\([^"]*\)".*$/\1/g'

如果您想要所有唯一关键字，请尝试：

egrep -r -h 'meta[^>]+name="keywords' * | sed 's/^.*content="\([^"]*\)".*$/\1/g' | sed 's/\s*,\s*/\n/g' | sort | uniq

我确信那里有一个单行或程序可以做到这一点，并且肯定会有更简单的答案。

Answer 2

要检索所有元信息，请尝试使用此工具Meta Tags Analyzer