标签: php http-headers x-robots-tag
我想检查URL列表中是否没有noindex。 所以我已经检查了
noindex
< meta name="robots" >
使用DOM,但是我还要检查X-robots-tag。有简单的方法吗?
我只能想象的是foreach()上的get_headers($url)。
foreach()
get_headers($url)