Question

我正在尝试在python中编写Web代理。我们的目标是访问以下网址：http://proxyurl/http://anothersite.com/并像往常一样查看http://anothersite.com的内容。我通过滥用请求库得到了很多，但这并不是请求框架的预期用途。我之前用twisted编写了代理，但我不确定如何将其与我正在尝试的内容联系起来。这是我到目前为止的地方......

import os
import urlparse

import requests

import tornado.ioloop
import tornado.web
from tornado import template

ROOT = os.path.dirname(os.path.abspath(__file__))
path = lambda *a: os.path.join(ROOT, *a)

loader = template.Loader(path(ROOT, 'templates'))


class ProxyHandler(tornado.web.RequestHandler):
    def get(self, slug):
        if slug.startswith("http://") or slug.startswith("https://"):
            if self.get_argument("start", None) == "true":
                parsed = urlparse.urlparse(slug)
                self.set_cookie("scheme", value=parsed.scheme)
                self.set_cookie("netloc", value=parsed.netloc)
                self.set_cookie("urlpath", value=parsed.path)
            #external resource
            else:
                response = requests.get(slug)
                headers = response.headers
                if 'content-type' in headers:
                    self.set_header('Content-type', headers['content-type'])
                if 'length' in headers:
                    self.set_header('length', headers['length'])
                for block in response.iter_content(1024):
                    self.write(block)
                self.finish()
                return
        else:
            #absolute
            if slug.startswith('/'):
                slug = "{scheme}://{netloc}{original_slug}".format(
                    scheme=self.get_cookie('scheme'),
                    netloc=self.get_cookie('netloc'),
                    original_slug=slug,
                )
            #relative
            else:
                slug = "{scheme}://{netloc}{path}{original_slug}".format(
                    scheme=self.get_cookie('scheme'),
                    netloc=self.get_cookie('netloc'),
                    path=self.get_cookie('urlpath'),
                    original_slug=slug,
                )
        response = requests.get(slug)
        #get the headers
        headers = response.headers
        #get doctype
        doctype = None
        if '<!doctype' in response.content.lower()[:9]:
            doctype = response.content[:response.content.find('>')+1]
        if 'content-type' in headers:
           self.set_header('Content-type', headers['content-type'])
        if 'length' in headers:
            self.set_header('length', headers['length'])
        self.write(response.content)


application = tornado.web.Application([
    (r"/(.+)", ProxyHandler),
])

if __name__ == "__main__":
    application.listen(8888)
    tornado.ioloop.IOLoop.instance().start()

请注意，如果查询字符串中有start = true，我设置一个cookie来保存scheme，netloc和urlpath。这样，然后命中代理的任何相对或绝对链接都使用该cookie来解析完整的URL。

使用此代码，如果您转到http://localhost:8888/http://espn.com/?start=true，您将看到ESPN的内容。但是，在以下网站上它根本不起作用：http://www.bottegaveneta.com/us/shop/。我的问题是，最好的方法是什么？目前的方式是我正在实施这种强大还是存在一些可怕的陷阱这样做？如果它是正确的，为什么某些网站像我指出的网站根本不工作？

感谢您的帮助。

Answer 1

我最近写了一个类似的网络应用程序。请注意，这是我这样做的方式。我不是说你应该这样做。这些是我遇到的一些陷阱：

将属性值从相对值更改为绝对值

除了获取页面并将其呈现给客户端之外，还有更多内容。很多时候，您无法在没有任何错误的情况下代理网页。

为什么某些网站会像我指出的网站一样不起作用？

许多网页依赖于资源的相对路径，以便以格式良好的方式显示网页。例如，此图片代码：

<img src="/header.png" />

将导致客户端请求：

http://proxyurl/header.png

哪个失败了。 “ src ”值应转换为：

http://anothersite.com/header.png.

因此，您需要使用BeautifulSoup之类的内容解析HTML文档，遍历所有标记并检查以下属性：

'src', 'lowsrc', 'href'

并相应地更改其值，以便标记变为：

<img src="http://anothersite.com/header.png" />

此方法适用于更多标签，而不仅仅是图像标签。 a ，脚本，链接， li 和框架是您应该更改的一些内容同样。

HTML shenanigans

先前的方法应该让你走得更远，但你还没有完成。

两个

<style type="text/css" media="all">@import "/stylesheet.css?version=120215094129002";</style>

和

<div style="position:absolute;right:8px;background-image:url('/Portals/_default/Skins/BE/images/top_img.gif');height:200px;width:427px;background-repeat:no-repeat;background-position:right top;" >

是使用BeautifulSoup难以覆盖和修改的代码示例。

在第一个例子中，有一个相对uri的css @Import。第二个涉及内联CSS语句中的“ url（）”方法。

在我的情况下，我最终编写了可怕的代码来手动修改这些值。你可能想要使用正则表达式，但我不确定。

重定向

使用Python-Requests或Urllib2，您可以轻松自动关注重定向。只记得保存新的（基础）uri是什么;你需要它来'将属性值从相对值改为绝对值'。

您还需要处理'硬编码'重定向。比如这一个：

<meta http-equiv="refresh" content="0;url=http://new-website.com/">

需要改为：

<meta http-equiv="refresh" content="0;url=http://proxyurl/http://new-website.com/">

基本标记

base tag指定文档中所有相对URL的基本URL /目标。您可能想要更改该值。

最后完成了吗？

不。有些网站严重依赖javascript在屏幕上绘制内容。这些网站是最难代理的。我一直在考虑使用PhantomJS或Ghost之类的内容来获取和评估网页，并将结果呈现给客户。

也许我的source code可以帮到你。您可以以任何方式使用它。

Answer 2

如果您想创建一个真正的代理，您可以使用：

tornado-proxy

或

simple proxy based on Twisted

但我认为根据你的情况调整它们并不难。

Answer 3

我认为你不需要你的最后一个if块。这似乎对我有用：

class ProxyHandler(tornado.web.RequestHandler):
    def get(self, slug):
        print 'get: ' + str(slug)

        if slug.startswith("http://") or slug.startswith("https://"):
            if self.get_argument("start", None) == "true":
                parsed = urlparse.urlparse(slug)
                self.set_cookie("scheme", value=parsed.scheme)
                self.set_cookie("netloc", value=parsed.netloc)
                self.set_cookie("urlpath", value=parsed.path)
            #external resource
            else:
                response = requests.get(slug)
                headers = response.headers
                if 'content-type' in headers:
                    self.set_header('Content-type', headers['content-type'])
                if 'length' in headers:
                    self.set_header('length', headers['length'])
                for block in response.iter_content(1024):
                    self.write(block)
                self.finish()
                return
        else:

            slug = "{scheme}://{netloc}/{original_slug}".format(
                scheme=self.get_cookie('scheme'),
                netloc=self.get_cookie('netloc'),
                original_slug=slug,
            )
            print self.get_cookie('scheme')
            print self.get_cookie('netloc')
            print self.get_cookie('urlpath')
            print slug
        response = requests.get(slug)
        #get the headers
        headers = response.headers
        #get doctype
        doctype = None
        if '<!doctype' in response.content.lower()[:9]:
            doctype = response.content[:response.content.find('>')+1]
        if 'content-type' in headers:
           self.set_header('Content-type', headers['content-type'])
        if 'length' in headers:
            self.set_header('length', headers['length'])
        self.write(response.content)

Answer 4

您可以在标准库中使用套接字模块，也可以使用Linux epoll。

您可以在此处查看简单异步服务器的示例代码：https://github.com/aychedee/octopus/blob/master/octopus/server.py

Answer 5

显然我在回答这个问题时已经很晚了，但只是偶然发现了一段时间。我自己一直在写一些与你的要求类似的东西。

它更像是一个HTTP转发器，但它的第一个任务是代理本身。它还没有完全完整，现在还没有读过它 - 但这些都在我的待办事项清单上。

我已经使用mitmproxy来实现这一目标。它可能不是最优雅的代码片段，我已经在这里和那里使用了很多hack来实现转发器功能。我知道mitmproxy默认情况下有方法可以轻松实现转发器，但在我的情况下有一些特殊要求我无法使用mitmproxy提供的那些功能。

您可以在https://github.com/c0n71nu3/python_repeater/找到该项目当有任何发展时，我仍在更新回购。

希望它可以为你提供一些帮助。

Answer 6

您可以使用用户请求模块。

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

request docs

如何在Python中编写Web代理

6 个答案: