Question

我正在使用php guzzle客户端抓取网站，然后使用symfony 2.1抓取工具处理它

我正在尝试访问表单....例如此处的测试表单 http://de.selfhtml.org/javascript/objekte/anzeige/forms_method.htm

$url = 'http://de.selfhtml.org/javascript/objekte/anzeige/forms_method.htm';
$client = new Client($url);

$request = $client->get();
$request->getCurlOptions()->set(CURLOPT_SSL_VERIFYHOST, false);
$request->getCurlOptions()->set(CURLOPT_SSL_VERIFYPEER, false);
$response = $request->send();
$body = $response->getBody(true);
$crawler = new Crawler($body);
$filter = $crawler->selectButton('submit')->form();
var_dump($filter);die();

但是我得到了例外：

当前节点列表为空。

所以我有点迷失，关于如何访问表格

Answer 1

尝试使用Goutte，它是一个基于您已经使用的工具（Guzzle，Symfony2 Crawler）构建的屏幕抓取和网络爬行库。有关详细信息，请参阅GitHub repo。

您的代码使用Goutte

看起来像这样

<?php
use Goutte\Client;

$url = 'http://de.selfhtml.org/javascript/objekte/anzeige/forms_method.htm';
$client = new Client();

$crawler = $client->request('GET', $url);
$form = $crawler->selectButton('submit')->form();
$crawler = $client->submit($form, array(
    'username' => 'myuser', // assuming you are submitting a login form 
    'password' => 'P@S5'
));
var_dump($crawler->count());
echo $crawler->html();
echo $crawler->text();

如果你真的需要设置CURL选项，你可以这样做：

<?php
$url = 'http://de.selfhtml.org/javascript/objekte/anzeige/forms_method.htm';
$client = new Client();
$guzzle = $client->getClient();
$guzzle->setConfig( 
    array(
        'curl.CURLOPT_SSL_VERIFYHOST' => false,
        'curl.CURLOPT_SSL_VERIFYPEER' => false,
    ));
$client->setClient($guzzle);
// ...

<强>更新

使用DomCrawler时，我经常会遇到同样的错误。大部分时间是因为我没有在页面中选择正确的元素，或者因为它不存在。尝试而不是使用：

$crawler->selectButton('submit')->form();

执行以下操作：

$form = $crawler->filter('#signin_button')->form();

如果您使用过滤器方法获取元素'#signin_button'，或者您也可以按类'.signin_button'获取该元素，则使用过滤方法获取元素。过滤方法需要The CssSelector Component。

还可以通过打印HTML（echo $crawler->html();）并确保您确实在正确的页面上来调试表单。

Crawler + Guzzle：访问表单

1 个答案: