Question

我正在使用Abot，我有一个显示浏览器控件（CefSharp）的WPF应用程序。用户登录时，网站正在使用的任何可能的自定义身份验证都将在爬网时工作，就像用户实际浏览网站一样。

因此，当我抓取时，我想使用此浏览器控件来发出请求并简单地返回页面数据。因此，我已经实现了我的自定义PageRequester，完整列表如下。

问题在于，对于CefSharp，与其他浏览器控件一样，不可能获得与CrawlPage关联的HttpWebRequest / Response。如果不设置这两个属性，Abot就不会继续进行爬网。

我能做些什么来规避这个问题吗？

代码清单：

using Abot.Core;
using Abot.Poco;
using CefSharp.Wpf;
using System;
using System.Net;
using System.Text;
using System.Threading;

public class CefPageRequester : IPageRequester
{
    private MainWindowDataContext DataContext;
    private ChromiumWebBrowser ChromiumWebBrowser;
    private CrawlConfiguration CrawlConfig;

    private volatile bool _navigationCompleted;
    private string _pageSource;

    public CefPageRequester(MainWindowDataContext dataContext, ChromiumWebBrowser chromiumWebBrowser, CrawlConfiguration crawlConfig)
    {
        this.DataContext = dataContext;
        this.ChromiumWebBrowser = chromiumWebBrowser;
        this.CrawlConfig = crawlConfig;

        this.ChromiumWebBrowser.FrameLoadEnd += ChromiumWebBrowser_FrameLoadEnd;
    }

    public CrawledPage MakeRequest(Uri uri)
    {
        return this.MakeRequest(uri, cp => new CrawlDecision() { Allow = true });
    }

    public CrawledPage MakeRequest(Uri uri, Func<CrawledPage, CrawlDecision> shouldDownloadContent)
    {
        if (uri == null)
            throw new ArgumentNullException("uri");

        CrawledPage crawledPage = new CrawledPage(uri);

        try
        {
            //the browser control is bound to the address of the data context, 
            //if we set the address directly it breaks for some reason, although it's a two way binding.
            this.DataContext.Address = uri.AbsolutePath;

            crawledPage.RequestStarted = DateTime.Now;
            crawledPage.DownloadContentStarted = crawledPage.RequestStarted;

            while (!_navigationCompleted)
                Thread.CurrentThread.Join(10);
        }
        catch (WebException e)
        {
            crawledPage.WebException = e;
        }
        catch
        {
            //bad luck, we should log this.
        }
        finally
        {
            //TODO must add these properties!!
            //crawledPage.HttpWebRequest = request;
            //crawledPage.HttpWebResponse = response;
            crawledPage.RequestCompleted = DateTime.Now;
            crawledPage.DownloadContentCompleted = crawledPage.RequestCompleted;
            if (!String.IsNullOrWhiteSpace(_pageSource))
                crawledPage.Content = this.GetContent("UTF-8", _pageSource);

            _navigationCompleted = false;
            _pageSource = null;
        }

        return crawledPage;
    }

    private void ChromiumWebBrowser_FrameLoadEnd(object sender, CefSharp.FrameLoadEndEventArgs e)
    {
        if (!e.IsMainFrame)
            return;

        this.ChromiumWebBrowser.Dispatcher.BeginInvoke(
            (Action)(() =>
            {
                _pageSource = this.ChromiumWebBrowser.GetSourceAsync().Result;
                _navigationCompleted = true;
            }));
    }

    private PageContent GetContent(string charset, string html)
    {
        PageContent pageContent = new PageContent();
        pageContent.Charset = charset;
        pageContent.Encoding = this.GetEncoding(charset);
        pageContent.Text = html;
        pageContent.Bytes = pageContent.Encoding.GetBytes(html);

        return pageContent;
    }

    private Encoding GetEncoding(string charset)
    {
        Encoding e = Encoding.UTF8;
        if (charset != null)
        {
            try
            {
                e = Encoding.GetEncoding(charset);
            }
            catch { }
        }

        return e;
    }
}

这个问题也可以表达为：如何避免从流中创建HttpWebResponse？鉴于MSDN says：

，这似乎是不可能的

您永远不应该直接创建HttpWebResponse的实例类。而是使用调用返回的实例 HttpWebRequest.GetResponse。

我必须实际发布请求才能获得响应，这正是我希望通过Web浏览器控制来避免的。

Answer 1

如您所知，许多功能取决于正在设置的HttpWebRequest和HttpWebResponse。我已经为你排好了一些选择...

1）重构Abot使用一些POCO抽象而不是那些类。然后只需要一个转换器将真正的HttpWebRequest和HttpWebResponse转换为那些POCO类型，以及将浏览器对象响应转换为那些POCO的转换器。

2）创建一个继承自.net类的CustomHttpWebRequest和CustomHttpWebResponse，以便您可以访问/覆盖public / protected属性，这可以允许您手动创建一个实例，该实例可以模拟浏览器组件返回给您的请求/响应。我知道这可能很棘手但可能有用（我从来没有这样做过，所以我无法肯定地说）。

3） [我讨厌这个想法。它应该是你最后的度假胜地] 创建这些类的真实实例并使用反射来设置需要设置的任何属性/值以满足所有Abot的使用。

4） [我讨厌这个想法甚至更糟] 使用MS Fakes为HttpWebRequest和HttpWebResponse的属性和方法创建填充/存根/伪造。然后你可以配置它来返回你的值。这个工具通常只用于测试，但我相信如果你绝望，不关心性能和/或疯狂，它可以用于生产代码。

我还包括了可怕的想法，以防它们帮助你引发一些想法。希望有所帮助...

Abot Crawler Omit CrawledPage HttpWebRequest / Response

1 个答案: