protobuf-net,版本控制和代理类型的最佳实践

时间:2013-01-23 23:10:48

标签: c# versioning protobuf-net

我正在尝试使用protobuf-net(Marc Gravell的实现)来确定如何解决这个用例。

  • 我们有A级,被认为是版本1
  • A类的实例已序列化为磁盘
  • 我们现在有了B类,它被认为是A类的第2版(A类有很多错误,我们必须为下一个版本创建B类)。 A类仍然存在于代码中,但仅用于传统目的。
  • 我想将版本:1数据(存储到磁盘)反序列化为B类实例,并使用逻辑例程将数据从先前的A类实例转换为B类的新实例。
  • 在操作期间,B类实例将被序列化为磁盘。
  • 应用程序应该反序列化A类和B类的实例。

数据合同代理的概念和DataContractSerializer浮现在脑海中。目标是将版本:1数据转换为新的B类结构。

一个例子:

[DataContract]
public class A {

     public A(){}

     [DataMember]
     public bool IsActive {get;set;]

     [DataMember]
     public int VersionNumber {
          get { return 1; }
          set { }
     }

     [DataMember]
     public int TimeInSeconds {get;set;}

     [DataMember]
     public string Name {get;set;}

     [DataMember]
     public CustomObject CustomObj {get;set;} //Also a DataContract

     [DataMember]
     public List<ComplexThing> ComplexThings {get;set;} //Also a DataContract
     ...
}

[DataContract]
public class B {

     public B(A a) {
          this.Enabled = a.IsActive; //Property now has a different name
          this.TimeInMilliseconds = a.TimeInSeconds * 1000; //Property requires math for correctness
          this.Name = a.Name;
          this.CustomObject2 = new CustomObject2(a.CustomObj); //Reference objects change, too
          this.ComplexThings = new List<ComplexThings>();
          this.ComplexThings.AddRange(a.ComplexThings);
          ...
     }

     public B(){}

     [DataMember]
     public bool Enabled {get;set;]

     [DataMember]
     public int Version {
          get { return 2; }
          set { }
     }

     [DataMember]
     public double TimeInMilliseconds {get;set;}

     [DataMember]
     public string Name {get;set;}

     [DataMember]
     public CustomObject2 CustomObject {get;set;} //Also a DataContract

     [DataMember]
     public List<ComplexThing> ComplexThings {get;set;} //Also a DataContract
     ...
}

A类是我们对象的第一次迭代,并且正在积极使用。数据以v1格式存在,使用类A进行序列化。

在意识到我们的方法错误之后,我们创建了一个名为B类的新结构.A和B之间有很多变化,我们觉得创建B更好,而不是调整原来的A类。

但是我们的应用程序已经存在,并且正在使用A类来序列化数据。我们已经准备好将我们的更改推向世界,但我们必须首先对在版本1下创建的数据进行反序列化(使用类A)并将其实例化为类B.数据非常重要,我们不能只假设类中的默认值B表示缺少数据,但我们必须将数据从A类实例转换为B类。一旦我们有了B类实例,应用程序将再次以B类格式(版本2)序列化该数据。

我们假设我们将来会对B类进行修改,我们希望能够迭代到版本3,也许是在新的“C”类中。我们有两个目标:地址数据已经存在,并准备我们的对象以供将来迁移。

现有的“过渡”属性(OnSerializing / OnSerialized,OnDeserializing / OnDeserialized等)不提供对先前数据的访问。

在这种情况下使用protobuf-net时的预期做法是什么?

2 个答案:

答案 0 :(得分:3)

右;看着他们,你确实完全改变了合同。我知道没有基于合同的序列化器会爱上你,而protobuf-net也不例外。如果您已经有了一个根节点,那么可以做类似的事情(伪代码):

[Contract]
class Wrapper {
    [Member] public A A {get;set;}
    [Member] public B B {get;set;}
    [Member] public C C {get;set;}
}

并且只选择A / B / C中的任何一个非空,可能在它们之间添加一些转换运算符。但是,如果你在旧数据中只有一个裸A,那就很难了。我能想到两种方法:

  • 添加批次的shim属性以实现兼容性; 非常易于维护,我不推荐
  • 作为初始步骤嗅探Version,并告诉序列化程序会发生什么。

例如,你可以这样做:

int version = -1;
using(var reader = new ProtoReader(inputStream)) {
    while(reader.ReadFieldHeader() > 0) {
        const int VERSION_FIELD_NUMBER = /* todo */;
        if(reader.FieldNumber == VERSION_FIELD_NUMBER) {
            version = reader.ReadInt32();
            // optional short-circuit; we're not expecting 2 Version numbers
            break;
        } else {
            reader.SkipField();
        }
    }
}
inputStream.Position = 0; // rewind before deserializing

现在您可以使用序列化程序,告诉它序列化的version;通过通用Serializer.Deserialize<T> API,或通过两个非通用API(TypeSerializer.NonGeneric.Deserialize中的RuntimeTypeModel.Default.Deserialize实例 - 无论哪种方式,您都可以到达同一个地方;这是一个通用或非通用是否最方便的情况。)

然后,您需要在A / B / C之间使用一些转换代码 - 可以通过您自己的自定义运算符/方法,也可以通过自动映射器之类的东西。

如果您不想要任何ProtoReader代码,您也可以这样做:

[DataContract]
class VersionStub {
    [DataMember(Order=VERSION_FIELD_NUMBER)]
    public int Version {get;set;}
}

并运行Deserialize<VersionStub>,这样您就可以访问Version,然后您可以使用它来执行特定类型的反序列化;这里的主要区别是ProtoReader代码允许您在拥有版本号时立即短路。

答案 1 :(得分:2)

我没有预期的练习,但这就是我要做的。

鉴于您仍然可以访问V1类,请在V1类上添加一个提供V2实例的属性。

ProtoAfterDeserialization的V1中创建一个V2实例并看到它是一个迁移我建议手动转移你需要的东西(或者如果它不太难,请尝试Merge YMMV)。< / p>

同样在你的ProtoBeforeSerialization中抛出某种形式的异常,这样你就不会再尝试写出旧的异常了。

编辑:使用这些的例子(VB代码)

<ProtoBeforeSerialization()>
Private Sub BeforeSerialisaton()

End Sub

<ProtoAfterSerialization()>
Private Sub AfterSerialisaton()

End Sub

<ProtoBeforeDeserialization()>
Private Sub BeforeDeserialisation()

End Sub

<ProtoAfterDeserialization()>
Private Sub AfterDeserialisation()

End Sub
看到你的例子后,我希望这能满足你的目标。 Class1是您加载/转换的方式。

using ProtoBuf;
using System.Collections.Generic;
using System.IO;

public class Class1
{
    public Class1()
    {
        using (FileStream fs = new FileStream("c:\\formatADataFile.dat",
               FileMode.Open, FileAccess.Read))
        {
            A oldA = Serializer.Deserialize<A>(fs);
            B newB = oldA.ConvertedToB;
        }
    }
}


[ProtoContract()]
public class B
{

    public B(A a)
    {
        //Property now has a different name
        this.Enabled = a.IsActive; 
        //Property requires math for correctness
        this.TimeInMilliseconds = a.TimeInSeconds * 1000; 
        this.Name = a.Name;
        //Reference objects change, too
        this.CustomObject2 = new CustomObject2(a.CustomObj); 
        this.ComplexThings = new List<ComplexThings>();
        this.ComplexThings.AddRange(a.ComplexThings);
        //...
    }

    public B() { }

    //[DataMember]
    [ProtoMember(1)]
    public bool Enabled { get; set; }

    //[DataMember]
    public int Version
    {
        get { return 2; }
        private set { }
    }

    [ProtoMember(2)]
    public double TimeInMilliseconds { get; set; }

    [ProtoMember(3)]
    public string Name { get; set; }

    [ProtoMember(4)]
    public CustomObject2 CustomObject { get; set; } //Also a DataContract

    [ProtoMember(5)]
    public List<ComplexThing> ComplexThings { get; set; } //Also a DataContract

    ///...
}

[ProtoContract()]
public class CustomObject2
{
    public CustomObject2()
    {
        Something = string.Empty;
    }

    [ProtoMember(1)]
    public string Something { get; set; }
}


[ProtoContract()]
public class A
{

    public A()
    {
        mBConvert = new B();
    }

    [ProtoMember(1)]
    public bool IsActive { get; set; }

    [ProtoMember(2)]
    public int VersionNumber
    {
        get { return 1; }
        private set { }
    }

    [ProtoBeforeSerialization()]
    private void NoMoreSavesForA()
    {
        throw new System.InvalidOperationException("Do Not Save A");
    }

    private B mBConvert;

    [ProtoAfterDeserialization()]
    private void TranslateToB()
    {
        mBConvert = new B(this);
    }

    public B ConvertedToB
    {
        get
        {
            return mBConvert;
        }
    }



    [ProtoMember(3)]
    public int TimeInSeconds { get; set; }

    [ProtoMember(4)]
    public string Name { get; set; }

    [ProtoMember(5)]
    public CustomObject CustomObj { get; set; } //Also a DataContract

    [ProtoMember(6)]
    public List<ComplexThing> ComplexThings { get; set; } //Also a DataContract
    //...
}

[ProtoContract()]
public class CustomObject
{
    public CustomObject()
    {

    }
    [ProtoMember(1)]
    public int Something { get; set; }
}

[ProtoContract()]
public class ComplexThing
{
    public ComplexThing()
    {

    }
    [ProtoMember(1)]
    public int SomeOtherThing { get; set; }
}