处理Web服务器上载的文件而不先在本地存储?

时间:2017-03-21 10:09:12

标签: php node.js apache file-upload dropzone.js

我正在尝试在websever上实时处理用户上传的文件, 但似乎,只有上传完整文件后,APACHE才会调用PHP。

当我使用CURL上传文件时,设置

  

Transfer-Encoding:“Chunked”

我取得了一些成功,但不能通过浏览器做同样的事情。

  • 我使用Dropzone.js,但是当我尝试设置相同的标题时,它表示Transfer -Encoding是一个不安全的标题,因此没有设置它。

这个答案解释了那里的问题。 Can't set Transfer-Encoding :"Chunked from Browser"

在一个Nutshell问题中,当用户将文件上传到webserver时,我希望webserver在第一个字节可用时立即开始处理它。 通过过程我的意思是,将它PIPING到命名管道。

不要先将500mb上传到服务器,然后开始处理它。

但是使用当前的Webserver(APACHE-PHP),我似乎无法完成它。

有人可以解释一下,使用什么技术堆栈或变通方法,以便我可以通过浏览器上传大文件,并在第一个字节可用时立即开始处理。

4 个答案:

答案 0 :(得分:2)

可以使用NodeJS / Multiparty来做到这一点。 Here他们有一个直接上传到Amazon S3的示例。 This是表单,它将内容类型设置为multipart/form-datahere是表单部件处理的功能。 part参数的类型为ReadableStream,它允许使用data事件对输入进行每块处理。

有关节点js中可读流的更多内容是here

答案 1 :(得分:1)

如果你真的想要那个(抱歉不认为这是一个好主意),你应该尝试寻找能够完成工作的FUSE文件系统。

也许已经有一个https://github.com/libfuse/libfuse/wiki/Filesystems

或者你应该自己编写。

但请记住,只要上传完成且帖子脚本完成作业,临时文件就会被删除

答案 2 :(得分:1)

你的意思是你想用PHP直播?

<?php

class VideoStream
{
    private $path = "";
    private $stream = "";
    private $buffer = 102400;
    private $start  = -1;
    private $end    = -1;
    private $size   = 0;

    function __construct($filePath) 
    {
        $this->path = $filePath;
    }

    /**
     * Open stream
     */
    private function open()
    {
        if (!($this->stream = fopen($this->path, 'rb'))) {
            die('Could not open stream for reading');
        }

    }

    /**
     * Set proper header to serve the video content
     */
    private function setHeader()
    {
        ob_get_clean();
        header("Content-Type: video/mp4");
        header("Cache-Control: max-age=2592000, public");
        header("Expires: ".gmdate('D, d M Y H:i:s', time()+2592000) . ' GMT');
        header("Last-Modified: ".gmdate('D, d M Y H:i:s', @filemtime($this->path)) . ' GMT' );
        $this->start = 0;
        $this->size  = filesize($this->path);
        $this->end   = $this->size - 1;
        header("Accept-Ranges: 0-".$this->end);

        if (isset($_SERVER['HTTP_RANGE'])) {

            $c_start = $this->start;
            $c_end = $this->end;

            list(, $range) = explode('=', $_SERVER['HTTP_RANGE'], 2);
            if (strpos($range, ',') !== false) {
                header('HTTP/1.1 416 Requested Range Not Satisfiable');
                header("Content-Range: bytes $this->start-$this->end/$this->size");
                exit;
            }
            if ($range == '-') {
                $c_start = $this->size - substr($range, 1);
            }else{
                $range = explode('-', $range);
                $c_start = $range[0];

                $c_end = (isset($range[1]) && is_numeric($range[1])) ? $range[1] : $c_end;
            }
            $c_end = ($c_end > $this->end) ? $this->end : $c_end;
            if ($c_start > $c_end || $c_start > $this->size - 1 || $c_end >= $this->size) {
                header('HTTP/1.1 416 Requested Range Not Satisfiable');
                header("Content-Range: bytes $this->start-$this->end/$this->size");
                exit;
            }
            $this->start = $c_start;
            $this->end = $c_end;
            $length = $this->end - $this->start + 1;
            fseek($this->stream, $this->start);
            header('HTTP/1.1 206 Partial Content');
            header("Content-Length: ".$length);
            header("Content-Range: bytes $this->start-$this->end/".$this->size);
        }
        else
        {
            header("Content-Length: ".$this->size);
        }  

    }

    /**
     * close curretly opened stream
     */
    private function end()
    {
        fclose($this->stream);
        exit;
    }

    /**
     * perform the streaming of calculated range
     */
    private function stream()
    {
        $i = $this->start;
        set_time_limit(0);
        while(!feof($this->stream) && $i <= $this->end) {
            $bytesToRead = $this->buffer;
            if(($i+$bytesToRead) > $this->end) {
                $bytesToRead = $this->end - $i + 1;
            }
            $data = fread($this->stream, $bytesToRead);
            echo $data;
            flush();
            $i += $bytesToRead;
        }
    }

    /**
     * Start streaming video content
     */
    function start()
    {
        $this->open();
        $this->setHeader();
        $this->stream();
        $this->end();
    }
}

要使用此类,您必须编写如下所示的简单代码:

$stream = new VideoStream($filePath);
$stream->start();

答案 3 :(得分:1)

您可以使用html5可恢复上传工具(如Resumable.js)上传文件,并在收到后立即处理上传的部分。

或作为解决方法,您可以找到上传文件的路径(通常在/ tmp中),然后编写后台作业以将其流式传输到第3个应用程序。它可能更难。

可能还有其他解决方案......