Question

我打算编写一些java测试实用程序，在app的内存中生成一些图像，并将它们作为源推送到gstreamer管道，从而生成mjpeg流。 appstrc的gstreamer-java使用的唯一例子是http://code.google.com/p/gstreamer-java/source/browse/trunk/gstreamer-java/src/org/gstreamer/example/AppSrcTest.java?r=480并且它太简单了 - 放置到缓冲区的值只是递增的颜色值。如果我们想推送真正的jpeg图像怎么办。

当我尝试推送一些jpeg时，将其视为BufferedImage，然后转换为byte []我遇到输出流问题 - 显示一些数字噪声而不是我作为缓冲的图像。首先我注意到，尽管AppSrcTest示例中的缓冲区具有相同的640x480图像大小，但BufferedImage之后的字节数组大小较小。看起来我需要一种方法使它与缓冲区接受的大小完全相同。所以问题是我应该推送什么样的数据来缓冲，以及如何在java中获得这种格式。

UPD。因为代码是开始解释我的错误的好事，所以它是：

的pom.xml：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>

   <groupId>gstreamer</groupId>
   <artifactId>gstreamer</artifactId>
   <version>1.0-SNAPSHOT</version>
        <dependencies>
            <dependency>
                <groupId>com.googlecode.gstreamer-java</groupId>
                <artifactId>gstreamer-java</artifactId>
                <version>1.5</version>
            </dependency>
        </dependencies>
 </project>

Run.java：

import org.gstreamer.Gst;
import java.awt.BorderLayout;
import java.awt.Dimension;
import java.awt.image.BufferedImage;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.IOException;
import java.util.Arrays;
import javax.imageio.ImageIO;
import javax.swing.JFrame;
import javax.swing.SwingUtilities;
import org.gstreamer.Buffer;
import org.gstreamer.Caps;
import org.gstreamer.Element;
import org.gstreamer.ElementFactory;
import org.gstreamer.Gst;
import org.gstreamer.Pipeline;
import org.gstreamer.State;
import org.gstreamer.TagList;
import org.gstreamer.elements.AppSrc;
import org.gstreamer.swing.VideoComponent;

public class Run {
    private static Pipeline pipeline;
    static TagList tags;

 public static void main(String[] args) {

    args = Gst.init("AppSrcTest", args);
    final int width = 640, height = 480;
    /* setup pipeline */
    pipeline = new Pipeline("pipeline");
    final AppSrc appsrc = (AppSrc) ElementFactory.make("appsrc", "source");
    final Element srcfilter = ElementFactory.make("capsfilter", "srcfilter");
    Caps fltcaps = new Caps("video/x-raw-rgb, framerate=2/1"
            + ", width=" + width + ", height=" + height
            + ", bpp=16, depth=16");
    srcfilter.setCaps(fltcaps);
    final Element videorate = ElementFactory.make("videorate", "videorate");
    final Element ratefilter = ElementFactory.make("capsfilter", "RateFilter");
    final Element autovideosink = ElementFactory.make("autovideosink", "autovideosink");
    ratefilter.setCaps(Caps.fromString("video/x-raw-rgb, framerate=2/1"));
    SwingUtilities.invokeLater(new Runnable() {
        int widthF;
        int heightF;


        public void run() {

            JFrame frame = new JFrame("FakeSrcTest");
            VideoComponent panel = new VideoComponent();
            panel.setPreferredSize(new Dimension(width, height));
            frame.add(panel, BorderLayout.CENTER);
            Element videosink = panel.getElement();
            pipeline.addMany(appsrc, srcfilter, videorate, ratefilter, videosink);
            Element.linkMany(appsrc, srcfilter, videorate, ratefilter, videosink);

            //pipeline.addMany(appsrc, autovideosink);
            //Element.linkMany(appsrc, autovideosink);
            appsrc.set("emit-signals", true);
            appsrc.connect(new AppSrc.NEED_DATA() {
                byte color = 0;
                byte[] data = new byte[width * height * 2];


                public void needData(AppSrc elem, int size) {
                    System.out.println("NEED_DATA: Element=" + elem.getNativeAddress()
                            + " size=" + size);
                    Arrays.fill(data, color++);

                    byte[] imageInByte=data;
                    ///File img = new File("file.jpg");


                    BufferedImage originalImage = null;
                    try {
                        originalImage = ImageIO.read(new File("file.jpg"));
                        heightF=originalImage.getHeight();
                        widthF=originalImage.getWidth();
                        System.out.println(heightF+"x"+widthF);
                        ByteArrayOutputStream baos = new ByteArrayOutputStream();
                        ImageIO.write( originalImage, "jpg", baos );
                        baos.flush();
                        //Arrays.fill(imageInByte,color);

                        for (int i=0;i<baos.toByteArray().length;i++)
                        {
                        imageInByte[i] = baos.toByteArray()[i];
                        }

                        //imageInByte = baos.toByteArray();
                        baos.close();
                    } catch (IOException e) {

                    }


                    //Buffer buffer = new Buffer(data.length);
                    //buffer.getByteBuffer().put(data);
                    //System.out.println(data.length);

                    //Buffer buffer = new Buffer(imageInByte.length);
                    Buffer buffer = new Buffer(614400);
                    System.out.println(imageInByte.length);
                    buffer.getByteBuffer().put(imageInByte);
                    appsrc.pushBuffer(buffer);
                }
            });
            appsrc.connect(new AppSrc.ENOUGH_DATA() {
                public void enoughData(AppSrc elem) {
                    System.out.println("NEED_DATA: Element=" + elem.getNativeAddress());
                }
            });
            //frame.setSize(640, 480);


            frame.setSize(widthF, heightF);
            frame.pack();
            frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
            frame.setVisible(true);

            pipeline.setState(State.PLAYING);
        }
    });

}
}

请不要指出我的代码很糟糕（我知道:)），但请告诉我哪里错了。我认为Jpeg - ＆gt; BuffredImage - ＆gt;应该被推送的byte []似乎是错误的。从屏幕截图中可以看出，来自videosink元素的数据是错误的。我应该放在那里？ enter image description here

UPD 2：如果我用filesink替换videosink，我能够记录一些看起来依赖于某些缓冲图像的文件;但是，它模拟不正确 - vlc将其播放为10秒单帧（从java代码显示唯一的BuffredImage;如果我在我的代码中替换图像，第一个缓冲的图像仍然显示为唯一的帧），其他玩家不会根本不承认。但是，它看起来像是存储在视频文件中 - 我看到缓冲区刷新工作会增加文件大小。

我认为问题在于我忽略了多路复用并将avimux添加到管道中，但是，在添加avimux之后，不再调用needData（AppSrc elem，int size）并且没有任何内容写入该文件。

Answer 1

您推送编码的JPEG文件的字节，但是使用srcfilter，您告诉gstreamer将JPEG流解释为原始视频帧：

src (jpegs) -> srcfilter(call it raw rgb) -> videorate -> ratefilter -> videosink (expects raw video)

应该做什么将JPEG解码为原始视频，然后再将其发送到仅对原始视频进行操作的元素：

src (jpegs) -> jpegdec (decodes jpeg files) -> ffmpegcolorspace -> videorate -> ratefilter -> videosink

要创建mjpeg，请将已解码的视频运行到mjpeg编码器中：

src (jpegs) -> jpegdec -> ffmpegcolorspace -> videorate -> ratefilter -> ffenc_mjpeg

在尝试在代码中实现之前，使用gst-launch测试管道结构通常最容易，尤其是在使用java时。请参阅multifilesrc元素。

由于您正在使用GStreamer，因此无论如何都没有理由将其编码为JPEG，然后将其推入管道中;获取缓冲图像的原始字节，并将其作为原始视频推送。然后，您可以设置capsfilter以反映图像格式并跳过jpegdec元素。

Gstreamer在Java绑定api中的AppSrc

1 个答案: