使用代理时，Dryscrape响应始终返回“Product unavailable”

Question

我试图使用dryscrape废弃基于javascript的网站，并在不使用代理时获取正确的内容。但是在使用代理时会返回“Product unavailable”。这是代码段。

session = dryscrape.Session()
session.set_proxy('host=<ipaddress>', port=80, user='<username>', password='<password>')
session.visit(url)

请告诉我们如何解决它。

Answer 1

发现了这个问题。实际上问题不在于代理。一切都很好，问题是标题。可以通过设置请求标头（用户代理，接受语言等）来解决问题。

$count = array_count_values(array_column($array, 'date'));
$times = array_column($array, 'time');
$grouped = array_map(function ($date, $count) use (&$times) {
    return [
        'date' => $date,
        'time' => array_splice($times, 0, $count)
    ];    
}, array_keys($count), $count);

此方法在Dryscrape会话对象中可用。