问 FFmpeg Javacv -延迟问题

EN

我正在使用android v21设备将数据流到javafx应用程序。它可以正常工作，但我有大约2秒的延迟时间。

到目前为止，基本的交通方式是这样的

buffers

• windows latency

• javafx

2. webrtc/自定义实现16 ms
3. android packetizer(udp) 6 ms
4. udp传输假设在< 5ms
5. windows depacketizer上没有建立数据在 ffmpeg framgrabber中显示latency
   1. javafx图像视图<1ms

   G 213

我的数据流到我的桌面和我的包装机比我的帧速率快得多，而且经常只是等待。在任何其他地方都没有数据的积累，因此我认为我的任何代码都不会延迟。

我测试了我的安卓设备，从摄像头到纹理和定时写了yuv，android设备可以在多长时间内将帧编码到h264中，然后还要多久才能发送。so 16 +6=22 16

我觉得问题在于Javacv ffmpeg框架抓取器。我学习这个api是为了了解为什么会发生这种情况。

我主要关心的是，帧抓取器会占用start...around 4秒的时间。

一旦启动，我就可以清楚地看到我插入了多少帧，以及它的抓取数，它总是落后于一些大的数字，比如40到200。

此外，Framegrabber.grab()是阻塞的，每100 my运行一次，以匹配我的帧速率，不管我告诉它运行的速度有多快，所以我永远赶不上它。

你有什么意见建议？

我开始认为javacv不是一个可行的解决方案，因为似乎很多人都在努力解决这个延迟问题。如果你有其他的建议，请提出建议。

我的框架抓取器

    public RapidDecoder(final InputStream inputStream, final ImageView view)
    System.out.println(TAG + " starting");
     grabber = new FFmpegFrameGrabber(inputStream, 0);
     converter = new Java2DFrameConverter();
     mView = view;
    emptyBuffer = new Runnable() {
        @Override
        public void run() {
            System.out.println(TAG + " emptybuffer thread running");
            try {
                grabber.setFrameRate(12);
                grabber.setVideoBitrate(10000);
                //grabber.setOption("g", "2");
               // grabber.setOption("bufsize", "10000");
                //grabber.setOption("af", "delay 20");
                //grabber.setNumBuffers(0);
                //grabber.setOption("flush_packets", "1");
                //grabber.setOption("probsize", "32");
                //grabber.setOption("analyzeduration", "0");
                grabber.setOption("preset", "ultrafast");
                grabber.setOption("fflags", "nobuffer");
                //grabber.setVideoOption("nobuffer", "1");
                //grabber.setOption("fflags", "discardcorrupt");
                //grabber.setOption("framedrop", "\\");
               //grabber.setOption("flags","low_delay");
                grabber.setOption("strict","experimental");
                //grabber.setOption("avioflags", "direct");
                //grabber.setOption("filter:v", "fps=fps=30");
                grabber.setVideoOption("tune", "zerolatency");
                //grabber.setFrameNumber(60);
                grabber.start();
            }catch (Exception e)
                System.out.println(TAG + e);
            while (true)
                    grabFrame();
                    Thread.sleep(1);
                }catch (Exception e)
                    System.out.println(TAG + " emptybuffer " + e);
    display = new Runnable() {
        @Override
        public void run() {
            System.out.println(TAG + " display thread running ");
            while(true)
                    displayImage();
                    Thread.sleep(10);
                }catch (Exception e)
                    System.out.println(TAG + " display " + e);
public synchronized void grabFrame() throws FrameGrabber.Exception
           //frame = grabber.grabFrame();
        frame = grabber.grab();
    //System.out.println("grab");
public synchronized void displayImage()
    bufferedImage = converter.convert(frame);
    frame = null;
    if (bufferedImage == null) return;
    mView.setImage(SwingFXUtils.toFXImage(bufferedImage, null));
    //System.out.println("display");
}

在这里，您可以看到我用图像绘制纹理并发送到h264编码器

@Override void onTextureFrameCaptured(int宽度、int高度、int texId、float[] tranformMatrix、int旋转、长时间戳){//Log.d(标记，"onTextureFrameCaptured：->")；

            VideoRenderer.I420Frame frame = new VideoRenderer.I420Frame(width, height, rotation, texId, tranformMatrix, 0,timestamp);
            avccEncoder.renderFrame(frame);
            videoView.renderFrame(frame);
            surfaceTextureHelper.returnTextureFrame();
        }

在这里您可以看到webrtc编码的发生。

 @Override
    public void renderFrame(VideoRenderer.I420Frame i420Frame) {
        start = System.nanoTime();
        bufferque++;
        mediaCodecHandler.post(new Runnable() {
            @Override
            public void run() {
                videoEncoder.encodeTexture(false, i420Frame.textureId, i420Frame.samplingMatrix, TimeUnit.NANOSECONDS.toMicros(i420Frame.timestamp));
     * Called to retrieve an encoded frame
    @Override
    public void onEncodedFrame(MediaCodecVideoEncoder.OutputBufferInfo frame, MediaCodec.BufferInfo bufferInfo) {
        b = new byte[frame.buffer().remaining()];
        frame.buffer().get(b);
        synchronized (lock)
            encodedBuffer.add(b);
            lock.notifyAll();
            if(encodedBuffer.size() > 1)
                Log.e(TAG, "drainEncoder: too big: " + encodedBuffer.size(),null );
        duration = System.nanoTime() - start;
        bufferque--;
        calcAverage();
        if (bufferque > 0)
        Log.d(TAG, "onEncodedFrame: bufferque size: " + bufferque);
}