PyYAML和不寻常的标签

时间:2014-01-31 05:30:22

标签: python yaml pyyaml

我正在开发一个使用Unity3D游戏引擎的项目。对于某些管道要求,最好能够使用Python从外部工具更新某些文件。 Unity的元文件和动画文件都在YAML中,所以我认为使用PyYAML这将是一个很好的前进。

问题是Unity的格式使用自定义属性,我不知道如何使用它们,因为所有示例都显示了Python和Ruby使用的更常见的标记。

以下是文件的顶行:

%YAML 1.1
%TAG !u! tag:unity3d.com,2011:
--- !u!74 &7400000
AnimationClip:
  m_ObjectHideFlags: 0
  m_PrefabParentObject: {fileID: 0}
  ...

当我尝试读取文件时,我收到此错误:

could not determine a constructor for the tag 'tag:unity3d.com,2011:74'

现在,在查看了所有其他问题之后,这个标签方案似乎与这些问题和答案不相似。例如,此文件使用“!u!”我无法弄清楚这意味着什么或者类似的行为(我的野心未经猜测的猜测看起来像是别名或命名空间)。

我可以做一个黑客方式并删除标签,但这不是尝试这样做的理想方式。我正在寻找一个解决方案的帮助,该解决方案将正确处理标签并允许我解析&以保持正确格式的方式对数据进行编码。

谢谢, -R

1 个答案:

答案 0 :(得分:19)

我也有这个问题,互联网也不是很有帮助。在对这个问题进行了3天的抨击之后,我能够解决它...或者至少得到一个有效的解决方案。如果有人想添加更多信息,请执行。但这就是我得到的。

1)关于Unity的YAML文件格式的文档(他们称之为"文本场景文件"因为它包含人类可读的文本) - http://docs.unity3d.com/Manual/TextualSceneFormat.html

符合YAML 1.1格式。所以你应该可以使用PyYAML或任何其他Python YAML库来加载YAML对象。

好的,太好了。但它不起作用。每个YAML库都存在此文件的问题。

2)文件格式不正确。事实证明,Unity文件有一些语法问题,使YAML解析器出错。具体做法是:

2a)在顶部,它使用%TAG指令为字符串" unity3d.com,2011"创建别名。它看起来像:

%TAG !u! tag:unity3d.com,2011:

这意味着你所看到的任何地方"!u!",将其替换为"标签:unity3d.com,2011"。

2b)然后继续使用"!u!"在每个对象流之前的所有地方。但问题是 - 要符合YAML 1.1 - 它实际上应该为每个流声明一个标记别名(任何时候新对象以#34; ---"开始)。在顶部声明一次并且永远不会再次对第一个流有效,并且下一个流对"!u!"一无所知,所以它出错了。

此外,此标记无用。它基本上附加了"标签:unity3d.com,2011"到流中的每个条目。我们不关心的。我们已经知道它是Unity YAML文件。为什么要混淆数据?

3)对象类型由Unity的Class ID给出。这是关于它的文档: http://docs.unity3d.com/Manual/ClassIDReference.html

基本上,每个流都被定义为一个新的对象类...对应于该链接中的ID。所以" GameObject"是" 1"等等。这条线看起来像这样:

--- !u!1 &100000

所以" ---"定义一个新流。 "!u!"是"标签的别名:unity3d.com,2011"和"& 100000"是此对象的文件ID(在此文件中,如果有人引用此对象,则使用此ID ....记住YAML是基于节点的表示,因此ID用于表示节点连接。)

下一行是YAML对象的根,恰好是Unity类的名称...示例" GameObject"。事实证明,我们实际上并不需要从Class ID转换为Human Readable节点类型。它就在那里。如果您需要使用它,只需占用根节点即可。如果你需要为Unity构建一个YAML对象,只需根据该文档链接保留一个字典来翻译" GameObject"到" 1"等等。

另一个问题是大多数YAML解析器(PyYAML是我测试的解析器)只支持3种类型的YAML对象:

  1. 标量
  2. 序列
  3. 映射
  4. 您可以定义/扩展自定义节点。但这相当于编写自己的YAML解析器,因为您必须明确定义每个YAML构造函数的创建方式和输出。为什么我会使用像PyYAML这样的库,然后继续编写我自己的解析器来读取这些自定义节点?使用库的重点是利用以前的工作并从第一天开始就获得所有功能。我花了两天的时间尝试为每个类ID创建一个新的构造函数。它从来没有奏效,我进入了试图正确构建构造函数的杂草。

    好消息/解决方案:

    事实证明,到目前为止我遇到的所有Unity节点都是基本的" Mapping" YAML中的节点。因此,您可以丢弃自定义节点映射,只需让PyYAML自动检测节点类型。从那里,一切都很棒!

    在PyYAML中,您可以传递文件对象或字符串。因此,我的解决方案是编写一个简单的5行预解析器来去除混淆PyYAML(Unity错误地编写的位)的位,并将这个新字符串提供给PyYAML。

    1)完全删除第2行,或者忽略它:

    %TAG !u! tag:unity3d.com,2011:
    

    我们不在乎。我们知道它是一个统一档案。标签对我们没有任何作用。

    2)对于每个流声明,删除标记别名("!u!")并删除类ID。保留fileID。让PyYAML自动检测节点作为Mapping节点。

    --- !u!1 &100000
    

    ...变为

    --- &100000
    

    3)其余的,按原样输出。

    预解析器的代码如下所示:

    def removeUnityTagAlias(filepath):
        """
        Name:               removeUnityTagAlias()
    
        Description:        Loads a file object from a Unity textual scene file, which is in a pseudo YAML style, and strips the
                            parts that are not YAML 1.1 compliant. Then returns a string as a stream, which can be passed to PyYAML.
                            Essentially removes the "!u!" tag directive, class type and the "&" file ID directive. PyYAML seems to handle
                            rest just fine after that.
    
        Returns:                String (YAML stream as string)  
    
    
        """
        result = str()
        sourceFile = open(filepath, 'r')
    
        for lineNumber,line in enumerate( sourceFile.readlines() ): 
            if line.startswith('--- !u!'):          
                result += '--- ' + line.split(' ')[2] + '\n'   # remove the tag, but keep file ID
            else:
                # Just copy the contents...
                result += line
    
        sourceFile.close()  
    
        return result
    

    要从Unity文本场景文件创建PyYAML对象,请在文件上调用预解析器函数:

    import yaml
    
    # This fixes Unity's YAML %TAG alias issue.
    fileToLoad = '/Users/vlad.dumitrascu/<SOME_PROJECT>/Client/Assets/Gear/MeleeWeapons/SomeAsset_test.prefab'
    
    UnityStreamNoTags = removeUnityTagAlias(fileToLoad)
    
    ListOfNodes = list()
    
    for data in yaml.load_all(UnityStreamNoTags):
        ListOfNodes.append( data )
    
    # Example, print each object's name and type
    for node in ListOfNodes:
        if 'm_Name' in node[ node.keys()[0] ]:
            print( 'Name: ' + node[ node.keys()[0] ]['m_Name']  + ' NodeType: ' + node.keys()[0] )
        else:
            print( 'Name: ' + 'No Name Attribute'  + ' NodeType: ' + node.keys()[0] )
    

    希望有所帮助!

    -Vlad

    PS。回答下一个使其可用的问题:

    您还需要遍历整个项目目录并解析所有&#34; .meta&#34; &#34; GUID&#34;的文件,这是Unity的文件间引用。因此,当您在Unity YAML文件中看到类似以下内容的引用时:

    m_Materials:
      - {fileID: 2100000, guid: 4b191c3a6f88640689fc5ea3ec5bf3a3, type: 2}
    

    该文件位于其他位置。你可以重新抨击那个,找出任何依赖。

    我刚刚浏览了游戏项目并保存了一个GUID词典:Filepath Key:我可以匹配的值对。