Question

我正在构建一个具有视频唱歌功能的卡拉OK应用程序，所以这是我的问题：我正在录制用户视频（仅来自前置摄像头的视频），并在单独的音频记录上应用带有audiokit的语音过滤器。现在，在我的播放中，我想以同步模式播放视频和音频，但是由于音频和视频不同步，该操作没有成功。我正在使用akplayer播放音频，因此我可以将Voice Mod和vlckit应用到播放用户视频。

         do {

        //MARK: VLC kit part of the video setup
        Vlc_VideoPlayer = VLCMediaPlayer()

        Vlc_VideoPlayer.media = VLCMedia(url: recordVideoURL)
        Vlc_VideoPlayer.addObserver(self, forKeyPath: "time", options: [], context: nil)
        Vlc_VideoPlayer.addObserver(self, forKeyPath: "remainingTime", options: [], context: nil)

        Vlc_VideoPlayer.drawable = self.CameraView

        //MARK: Audiokit with AKPlayer Setup

        file = try AKAudioFile(forReading: recordVoiceURL)
        player =  AKPlayer(audioFile: file)
        self.player.preroll()
        delay = AKVariableDelay(player)
        delay.rampTime = 0.5
        delayMixer = AKDryWetMixer(player, delay)

        reverb = AKCostelloReverb(delayMixer)
        reverbMixer = AKDryWetMixer(delayMixer, reverb)
        booster = AKBooster(reverbMixer)
        tracker = AKAmplitudeTracker(booster)
        AudioKit.output = tracker
        try AudioKit.start()
        }catch{
        print (error)
              }
        self.startPlayers()

现在是startPlayers函数：

func startPlayers(){
    DispatchQueue.main.asyncAfter(deadline: .now() + 1) {
        if AudioKit.engine.isRunning {


                self.Vlc_VideoPlayer.audio.isMuted = true
                self.Vlc_VideoPlayer.play()



            self.player.isLooping = false
            self.player.play()




        }else{
            self.startPlayers()
        }
    }

    }

Answer 1

尝试启动两个播放器将看起来很纯粹，除非您有在启动后同步播放的手段，否则它并不是完美的。理想情况下，您还应该使用VLC播放音频，以利用其内部同步工具。

要迭代您现在拥有的内容，我建议从VLC开始播放直到解码第一帧为止，然后暂停，开始音频，并在解码第一个音频样本后立即继续从VLC播放。这仍然不是完美的，但可能会更好。

Answer 2

我对VLC播放器一无所知，但是通过内置的AVPlayer，可以选择同步到时钟：

var time: TimeInterval = 1 // 1 second in the future

videoPlayer.masterClock = CMClockGetHostTimeClock()

let hostTime = mach_absolute_time()

let cmHostTime = CMClockMakeHostTimeFromSystemUnits(hostTime)
let cmVTime = CMTimeMakeWithSeconds(time, preferredTimescale: videoPlayer.currentTime().timescale)
let futureTime = CMTimeAdd(cmHostTime, cmVTime)
videoPlayer.setRate(1, time: CMTime.invalid, atHostTime: futureTime)

然后，AKPlayer支持使用其调度功能将其同步到mach_absolute_time（）hostTime。如上所述，两者将开始并拢，但不能保证任何同步。

在两个播放器之间同步声音和图片

2 个答案: