Question

如果你想自己运行这个项目，那么这是一个完整的项目：https://www.dropbox.com/s/5p384mogjzflvqk/AVPlayerLayerSoundOnlyBug_iOS10.zip?dl=0

这是iOS 10上的一个新问题，自iOS 10.2起就已修复。在导出期间使用AVAssetExportSession和AVVideoCompositionCoreAnimationTool导出视频以在视频顶部合成图层后，AVPlayerLayer中播放的视频无法播放。这似乎不是由于达到AV编码/解码流水线限制造成的，因为它经常在单次导出后发生，据我所知只会旋转2个流水线：1为AVAssetExportSession而另一个为AVPlayer。我也正确设置了图层的框架，正如您可以通过运行下面的代码看到的那样，该图层为图层提供了一个您可以清楚看到的蓝色背景。

导出后，在播放视频之前等待一段时间似乎使其更加可靠，但这并不是一个可以接受的解决方法来告诉用户。

有关导致此问题的原因或我如何解决或解决问题的任何想法？我搞砸了什么或者错过了一个重要的步骤或细节？任何帮助或文档指针都非常感谢。

import UIKit
import AVFoundation

/* After exporting an AVAsset using AVAssetExportSession with AVVideoCompositionCoreAnimationTool, we
 * will attempt to play a video using an AVPlayerLayer with a blue background.
 *
 * If you see the blue background and hear audio you're experiencing the missing-video bug. Otherwise
 * try hitting the button again.
 */

class ViewController: UIViewController {
    private var playerLayer: AVPlayerLayer?
    private let button = UIButton()
    private let indicator = UIActivityIndicatorView(activityIndicatorStyle: .gray)

    override func viewDidLoad() {
        super.viewDidLoad()
        view.backgroundColor = UIColor.white
        button.setTitle("Cause Trouble", for: .normal)
        button.setTitleColor(UIColor.black, for: .normal)
        button.addTarget(self, action: #selector(ViewController.buttonTapped), for: .touchUpInside)
        view.addSubview(button)
        button.translatesAutoresizingMaskIntoConstraints = false
        NSLayoutConstraint.activate([
            button.centerXAnchor.constraint(equalTo: view.centerXAnchor),
            button.bottomAnchor.constraint(equalTo: view.bottomAnchor, constant: -16),
        ])

        indicator.hidesWhenStopped = true
        view.insertSubview(indicator, belowSubview: button)
        indicator.translatesAutoresizingMaskIntoConstraints = false
        NSLayoutConstraint.activate([
            indicator.centerXAnchor.constraint(equalTo: button.centerXAnchor),
            indicator.centerYAnchor.constraint(equalTo: button.centerYAnchor),
        ])
    }

    func buttonTapped() {
        button.isHidden = true
        indicator.startAnimating()
        playerLayer?.removeFromSuperlayer()

        let sourcePath = Bundle.main.path(forResource: "video.mov", ofType: nil)!
        let sourceURL = URL(fileURLWithPath: sourcePath)
        let sourceAsset = AVURLAsset(url: sourceURL)

        //////////////////////////////////////////////////////////////////////
        // STEP 1: Export a video using AVVideoCompositionCoreAnimationTool //
        //////////////////////////////////////////////////////////////////////
        let exportSession = { () -> AVAssetExportSession in
            let sourceTrack = sourceAsset.tracks(withMediaType: AVMediaTypeVideo).first!

            let parentLayer = CALayer()
            parentLayer.frame = CGRect(origin: .zero, size: CGSize(width: 1280, height: 720))
            let videoLayer = CALayer()
            videoLayer.frame = parentLayer.bounds
            parentLayer.addSublayer(videoLayer)

            let composition = AVMutableVideoComposition(propertiesOf: sourceAsset)
            composition.animationTool = AVVideoCompositionCoreAnimationTool(postProcessingAsVideoLayer: videoLayer, in: parentLayer)
            let layerInstruction = AVMutableVideoCompositionLayerInstruction(assetTrack: sourceTrack)
            layerInstruction.setTransform(sourceTrack.preferredTransform, at: kCMTimeZero)
            let instruction = AVMutableVideoCompositionInstruction()
            instruction.timeRange = CMTimeRange(start: kCMTimeZero, duration: sourceAsset.duration)
            instruction.layerInstructions = [layerInstruction]
            composition.instructions = [instruction]

            let e = AVAssetExportSession(asset: sourceAsset, presetName: AVAssetExportPreset1280x720)!
            e.videoComposition = composition
            e.outputFileType = AVFileTypeQuickTimeMovie
            e.timeRange = CMTimeRange(start: kCMTimeZero, duration: sourceAsset.duration)
            let outputURL = URL(fileURLWithPath: NSTemporaryDirectory().appending("/out2.mov"))
            _ = try? FileManager.default.removeItem(at: outputURL)
            e.outputURL = outputURL
            return e
        }()

        print("Exporting asset...")
        exportSession.exportAsynchronously {
            assert(exportSession.status == .completed)

            //////////////////////////////////////////////
            // STEP 2: Play a video in an AVPlayerLayer //
            //////////////////////////////////////////////
            DispatchQueue.main.async {
                // Reuse player layer, shouldn't be hitting the AV pipeline limit
                let playerItem = AVPlayerItem(asset: sourceAsset)
                let layer = self.playerLayer ?? AVPlayerLayer()
                if layer.player == nil {
                    layer.player = AVPlayer(playerItem: playerItem)
                }
                else {
                    layer.player?.replaceCurrentItem(with: playerItem)
                }
                layer.backgroundColor = UIColor.blue.cgColor
                if UIDeviceOrientationIsPortrait(UIDevice.current.orientation) {
                    layer.frame = self.view.bounds
                    layer.bounds.size.height = layer.bounds.width * 9.0 / 16.0
                }
                else {
                    layer.frame = self.view.bounds.insetBy(dx: 0, dy: 60)
                    layer.bounds.size.width = layer.bounds.height * 16.0 / 9.0
                }
                self.view.layer.insertSublayer(layer, at: 0)
                self.playerLayer = layer

                layer.player?.play()
                print("Playing a video in an AVPlayerLayer...")

                self.button.isHidden = false
                self.indicator.stopAnimating()
            }
        }
    }
}

Answer 1

在这种情况下，我的答案是通过使用实现AVVideoCompositionCoreAnimationTool协议的自定义视频合成类以及实现AVVideoCompositing的自定义合成指令来解决AVVideoCompositionInstruction的问题协议。因为我需要在视频的顶部覆盖CALayer，所以我在合成指令实例中包含该层。

您需要在视频合成中设置自定义合成器，如下所示：

composition.customVideoCompositorClass = CustomVideoCompositor.self

然后在其上设置自定义说明：

let instruction = CustomVideoCompositionInstruction(...) // whatever parameters you need and are required by the instruction protocol
composition.instructions = [instruction]

编辑：以下是如何使用自定义合成器使用GPU在视频上叠加图层的工作示例：https://github.com/samsonjs/LayerVideoCompositor ...原始答案在下面继续

对于合成器本身，如果您观看相关的WWDC会话并查看其示例代码，则可以实现一个。我不能发布我在这里写的那个，但我正在使用CoreImage来处理AVAsynchronousVideoCompositionRequest的繁重工作，确保使用OpenGL CoreImage上下文以获得最佳性能（如果你在CPU上执行它将会是非常慢）。如果在导出期间出现内存使用量峰值，您可能还需要一个自动释放池。

如果您覆盖像我这样的CALayer，请确保在将该图层发送到layer.isGeometryFlipped = true之前设置CGImage，然后再将其发送到CoreImage。并确保在合成器中逐帧缓存渲染的CGImage。

Answer 2

我们在iOS 10和10.1上遇到了同样的问题。从iOS 10.2 beta 3开始看起来固定

Answer 3

为了扩展Sami Samhuri的答案，这是我开展的一个小型示例项目，该项目使用自定义AMT课程，其中包含实施AVVideoCompositing的自定义说明

https://github.com/claygarrett/CustomVideoCompositor

该项目允许您在视频上放置水印，但这个想法可以扩展到您需要的任何内容。这可以防止有问题的AVPlayer错误出现。

另一个可能有用的单独线程的有趣解决方案：AVPlayer playback fails while AVAssetExportSession is active as of iOS 10

Answer 4

我在iOS 10.1上遇到过这个问题，问题已在iOS 10.2上修复。我发现在iOS 10.1上解决此问题的一种方法是延迟几秒钟将playerLayer添加到容器层。

iOS 10.0 - 10.1：AVPlayerLayer在使用AVVideoCompositionCoreAnimationTool后不显示视频，仅显示音频

4 个答案: