从tcp字节流中提取协议数据单元的有效方法

时间:2013-07-10 13:50:54

标签: java parsing tcp protocols

我有两个依赖于基于字节的面向连接的协议的java项目(简单的多人游戏) 用于沟通。

在这两种情况下,我对通信的实现都不满意,因为我无法想出一种智能的,非冗长的和面向对象的写法,特别是解析字节。


为了写作,我有类似

的东西
ProtocolDataUnitX pdux = new ProtocolDataUnitX("MyName", 2013);
int[] bytes = pdux.getBytes();
out.write(bytes); // surrounded with try/catch etc.

这在某种程度上是可以接受的,因为我有一个带有一些字节转换便利方法的AbstractPDU类。但我必须定义getBytes()方法 对于每个协议数据单元(pdu)。 我解析传入字节流的方法缺乏更多的创新。

private InputStream in;

...

@Override
public void run() {

    int c;
    while ((c = in.read()) != -1)) {
                if (c == 0x01) {
                    // 0x01 means we have pdu #1 and can continue reading
                    // since we know what is coming.
                    // after we have all bytes and know the pdu
                    // we can determine the paramters. E. g. every pdu has a
                    // reverse constructor: bytes -> pdu
                }

问题

你如何处理这些情况?这里有哪些最佳做法?一些协议具有编码的总长度字段,一些没有。一些协议数据单元具有可变长度。 这里有合理的方法吗?也许某种架构定义?我不想再为这件事制作丑陋而混乱的代码。

1 个答案:

答案 0 :(得分:3)

摘要:最佳实践是使用现有的成熟协议编译器。 Google protobufs是一个受欢迎的选择。


多年来,已经开发了许多协议定义系统。其中大多数都包括编译器,它们采用协议描述并生成客户端和服务器代码,通常使用多种语言。这种编译器的存在对于不限于单个客户端(或服务器)实现的项目非常有用,因为它允许其他团队使用标准PDU定义轻松地创建自己的客户端或服务器。另外,正如您所观察到的那样,创建一个干净的面向对象的界面并不简单,即使是像Java这样的语言,它具有您需要的大部分功能。

PDU是应该具有明确的长度还是自定界限(例如,带有终点指示符)的问题很有意思。显式长度有很多优点:首先,没有必要有一个完整的解析器来接受PDU,这可以更好地隔离反序列化与传输。如果传输由PDU流组成,则显式长度字段使错误恢复更简单,并允许将PDU早期分派给处理程序。显式长度字段还可以更容易地将PDU嵌入到另一个PDU中,这通常很有用,特别是在PDU的某些部分必须加密时。

另一方面,显式长度字段要求在传输之前将整个PDU组装在存储器中,这对于大PDU是不方便的,并且不可能用单个PDU进行流传输。如果长度字段本身具有可变长度(几乎总是必要的话),则创建PDU组件变得很麻烦,除非在开始时已知最终长度。 (此问题的一个解决方案是创建序列化字符串向后,但这也很尴尬,并且不适用于流式传输。)

总的来说,平衡一直支持显式长度字段,尽管有些系统允许“分块”。一种简单的分块形式是定义最大块大小,并连接具有最大大小的连续块以及大小小于最大值的第一个后续块。 (如果PDU是最大大小的偶数倍,则能够指定0长度的块是很重要的。)这是一个合理的折衷方案;它允许流式传输(有一些工作);但是它需要进行更多的工程工作,并且会产生许多需要进行测试和调试的极端情况。

设计PDU格式的一个重要原则是每个选项都是潜在的信息泄露。在可能的范围内,尝试使任何给定的内部对象只有一个可能的序列化。此外,请记住冗余具有成本:在存在重复的任何地方,它意味着对有效性的测试。将测试保持在最低限度是提高效率的关键,特别是在反序列化方面。跳过有效性测试是对安全攻击的邀请。

在我看来,制作一个临时协议解析器通常不是一个好主意。首先,这是一项很多工作。另一方面,有许多微妙的问题,最好使用处理它们的系统。

虽然我个人是ASN.1的粉丝,ASN.1广泛用于电信行业,但它并不是一项适合小型项目的简单技术。学习曲线非常陡峭,并没有人们想要的开源工具那么多。

目前,最流行的选项可能是Google protobufs,它可用于C ++,Java和Python(以及其他许多语言通过提供的插件)。它简单,易于使用,而且开源。