PHP Curl - 如果重定向，则移动到列表中的下一个URL

Question

我正试图从网站上抓取一些信息。包含我需要的数据的页面的URL很容易到达，但是我为URL中的“Key”输入的所有值都没有将我带到有效的页面。

例如：

a_website.com/Location.aspx?KeyID=3804

将我带到一个包含我需要的数据的有效页面。

a_website.com/Location.aspx?KeyID=19

重定向到“a_website.com/net/search/Default.aspx”并在页面上显示默认错误消息，例如“您进行了无效选择”。

有没有办法告诉脚本停止并移动到下一个URL，如果它被反弹到错误页面而不是包含我需要的数据的有效页面？

下面的代码snippit：

function getCommand($key_num) {
    $cmd = <<<EOD
curl "http://www.a_website.com/Location.aspx?KeyID={$key_num}
" --location -c "" > output/{$key_num}.txt &
EOD;
    return $cmd;
}

Answer 1

如果你turn off the --location flag to disable redirects，然后打开--fail标志，you should get back the "22" error code会丢失页面。