多个SCNView音频错误

时间:2017-07-31 13:57:14

标签: ios scenekit virtual-reality scntechnique

我正在使用SceneKit开发支持正常播放和VR的游戏。正常播放时我有一个SCNView,一个摄像头也对应于视听音频监听器。切换到VR模式时,我将屏幕分成两个SCNView,两个不同的摄像头都播放相同的场景,音频监听器位于它们之间,这里没问题。

在我的游戏中,我需要位置音频,因此我使用SCNAudioSuorce使用SCNAction播放声音效果,但由于在两个视图中播放相同的场景,我如何将其中一个静音并拥有音频只来自另一个?我已经搜索了网络和文档,但没有发现任何相关内容。

iOS 11更新:在iOS 11上测试我的应用并尝试在VR模式下播放声音时应用程序在__UpdateAudioTransform的渲染队列线程崩溃,因为我播放了这个声音,从动作中删除它(包括其他节点转换)使游戏运行正常。

更新1:感谢@rickster建议我尝试实施SCNTechnique并遵循Apple文档我得到了这个

SCNTechnique(dictionary: [
    "passes" : [
        "leftView": [
            "draw": "DRAW_SCENE",
            "pointOfView": stereoCameraLeftName,
            "viewport": "(0, 0, 400, 400)"
        ],
        "rightView": [
            "draw": "DRAW_SCENE",
            "pointOfView": stereoCameraRightName,
            "viewport": "(200, 0, 400, 400)"
        ]
    ],
    "sequence": [ "leftView", "rightView" ]
    ])

其中stereoCameraLeftNamestereoCameraRightName在别处被定义为字符串,并用作包含相应摄像机的节点的名称,视口尺寸仅用于测试。当我将这种技术应用到场景时,它不起作用,并且取决于场景pointOfView的设置方式,我要么看到填充了背景颜色的完整场景(pointOfView设置为使用的相机对于非VR模式,没有更多链接到场景图)或使用两个摄像头之一渲染的完整尺寸(pointOfView设置为nil),我缺少什么?

在一些跟踪和错误之后

更新2:我发现为自定义视口定义简单传递的正确方法是这样的,并定义了wh作为CGFloat

let technique = SCNTechnique(dictionary: [
    "passes" : [
        "leftView": [
            "outputs": [ "color": "COLOR" ],
            "draw": "DRAW_SCENE",
            "colorStates": [
                "clear": true,
                "clearColor": "sceneBackground"
            ],
            "pointOfView": stereoCameraLeftName,
            "viewport": "0 0 \(w) \(h)"
        ],
        "rightView": [
            "outputs": [ "color": "COLOR" ],
            "draw": "DRAW_SCENE",
            "colorStates": [
                "clear": false
            ],
            "pointOfView": stereoCameraRightName,
            "viewport": "\(w) 0 \(w) \(h)",
            "blendStates": [
                "colorOp": "add",
                "alphaOp": "add"
            ]
        ]
    ],
    "sequence": [ "leftView", "rightView" ]
])

但是有一个问题:当渲染第二遍时,屏幕的左侧保持黑色(清晰的颜色)并且右侧被正确渲染,如果我排除了这个通道,只留下第一个左侧是正确的渲染,右侧按预期显示场景背景颜色。奇怪的是,如果不是在运行iOS 11的iPhone 6上进行测试而是在模拟器(iOS 11)上进行测试,那么一切似乎都运行正常,我确定我在组合时错过了一些东西。两次通过。

更新2.1:从第二遍中删除blendStates会产生相同的结果。

更新3:尝试重新创建一个MWE来重现问题我发现我的方法是正确的,我会尝试调查我项目的其他部分以找到& #39;是问题。

最终更新:问题似乎是由视图上的抗锯齿功能激活造成的,禁用它会使SCNTechnique正常工作,看起来像是iOS 11和我的错误#39已经提交了一份错误报告。

1 个答案:

答案 0 :(得分:2)

这是尝试在多个视图中呈现相同场景的众多问题之一。 (其他包括性能和并发性。)相反,它可能是仅使用单个视图的更好选择,并使用SCNTechnique在其中两次呈现视图的场景。

配置技巧时,您可以为每个绘制通道单独设置pointOfView - 如果您正在寻找立体声分离,这可能会很方便。

您还可以为每次传递设置viewport。如果你正在进行某种立体渲染,你可以使用它来使一个渲染通道覆盖视图的一半,另一个渲染通道覆盖另一半。