Question

我正在寻找一个解决方案，如何在使用CURL授权后使用Simple HTML DOM Parser解析页面。

现在我有两个代码工作部分：CURL授权和Simple HTML DOM Parser

1）使用CURL授权

$data = array();
$data['name'] = 'name';
$data['pass'] = 'pass';
$data['loginbtnUp'] = '1';
$data['submit_flag'] = '1';
$data['rand'] = microtime(true);
$data['formSubmitted']=1;

$post_str = '';
foreach($data as $key=>$val) {
    $post_str .= $key.'='.urlencode($val).'&';
}
$post_str = substr($post_str, 0, -1);
$cookie_file = "cookie.txt";

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://login.page.com/' );
curl_setopt($ch, CURLOPT_POST, TRUE);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_str);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_setopt($ch, CURLOPT_AUTOREFERER, 1); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
$response = curl_exec($ch );

echo $response;

curl_close($ch);

2）和简单的HTML DOM解析器

include('simple_html_dom.php');

$context = stream_context_create(array('http' => array(
  'header' => 'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.60 Safari/537.17'
)));
$html = str_get_html( file_get_contents('http://page.com/user1', false, $context) );

foreach($html->find('img[width="200"]') as $e)
    echo $e->src . '<br>';

我的问题是如何组合这些代码部分来解析只能为授权用户访问的页面。我只需要登录一次，然后解析可供授权用户使用的不同页面

Answer 1

您已使用CURL登录，这很棒，但CURL现在会将您的Cookie保存在CURLOPT_COOKIEJAR文件中。

为了让网站继续为您提供受保护的内容，您需要继续使用登录后提供给您的会话Cookie来提供该服务。

因此，您对受密码保护的页面的额外请求应该使用CURL，就像您的登录过程一样（显然，您不需要POST，只能GET }）：

$ch = curl_init('https://login.page.com/protectedcontent');
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_setopt($ch, CURLOPT_AUTOREFERER, true); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 
$response = curl_exec($ch);
curl_close($ch);

$dom = str_get_html($response);

使用CURL授权后，使用HTML DOM解析页面

1 个答案: