Question

我目前正在尝试编写可让网站查看我的网络摄像头的内容。我大致按照this website上链接的教程，除了使用Python和pygame而不是Processing。

目前，我的代码正在抓取一个pygame图像（最初是一个SimpleCV图像），尝试将其转换为jpg格式，并通过websockets将其发送到客户端，在客户端将其显示在{{1}内} 标签。但是，我似乎无法弄清楚如何将pygame图像转换为jpg并让它在Web浏览器上正确显示。

这是我的服务器代码，它使用Flask和gevent：

img

这是我的HTML文件：

#!/usr/bin/env python

import base64
import cStringIO
import time

from geventwebsocket.handler import WebSocketHandler
from gevent.pywsgi import WSGIServer
from flask import Flask, request, render_template


import pygame
pygame.init()

import SimpleCV as scv

app = Flask(__name__)
cam = scv.Camera(0)

@app.route('/')
def index():
    return render_template('index.html')

@app.route('/camera')
def camera():

    if request.environ.get('wsgi.websocket'):
        ws = request.environ['wsgi.websocket']

        while True:            
            image = cam.getImage().flipHorizontal().getPGSurface()
            data = cStringIO.StringIO()
            pygame.image.save(image, data)
            ws.send(base64.b64encode(data.getvalue()))
            time.sleep(0.5)

if __name__ == '__main__':
    http_server = WSGIServer(('',5000), app, handler_class=WebSocketHandler)
    http_server.serve_forever()

这些是我认为遇到问题的特定行：

<!DOCTYPE HTML>
<html>
<head>
<title>Flask/Gevent WebSocket Test</title>
    <script src="http://code.jquery.com/jquery-1.10.1.min.js"></script>
    <script type="text/javascript" charset="utf-8">
        $(document).ready(function(){
            if ("WebSocket" in window) {
                cam = new WebSocket("ws://" + document.domain + ":5000/camera");
                cam.onmessage = function (msg) {
                    $("#cam").attr('src', 'data:image/jpg;base64,' + msg.data);
                };
                cam.onerror = function(e) {
                    console.log(e);
                }
            } else {
                alert("WebSocket not supported");
            }
        });
    </script>
</head>
<body>
    <img id="cam" src="" width="640" height="480" />
</body>
</html>

目前，如果我尝试运行我的代码，转到while True: image = cam.getImage().flipHorizontal().getPGSurface() data = cStringIO.StringIO() pygame.image.save(image, data) ws.send(base64.b64encode(data.getvalue())) time.sleep(0.5)将显示无效的jpg图像。如果我尝试在Firefox上运行它也会变得非常滞后，但这可能是一个无关的问题，我可以稍后调试。

我已经检查并确保pygame图像是有效的，因为我正在从另一个库转换它，并且还通过来回发送文本数据来检查我是否正确使用了websockets。

我也试过调用localhost:5000尝试将pygame表面转换为RGB格式，但这也不起作用。

我做错了什么？

Answer 1

使用底层的PIL图像，我们可以写入类似文件的对象，回读并对其进行base-64编码：

from geventwebsocket.handler import WebSocketHandler
from gevent.pywsgi import WSGIServer
from flask import Flask, request
from time import sleep
from cStringIO import StringIO

import pygame
pygame.init()

import SimpleCV as scv

app = Flask(__name__)
cam = scv.Camera(0)


@app.route('/camera')
def camera():

    if request.environ.get('wsgi.websocket'):
        ws = request.environ['wsgi.websocket']

        while True:
            fp = StringIO()
            image = cam.getImage().flipHorizontal().getPIL()
            image.save(fp, 'JPEG')
            ws.send(fp.getvalue().encode("base64"))
            #fp.close() << benchmark and memory tests needed
            sleep(0.5)


if __name__ == '__main__':
    http_server = WSGIServer(('',5000), app, handler_class=WebSocketHandler)
    http_server.serve_forever()

如何通过websockets发送pygame图像？

1 个答案: