我正在从Java项目中的Apache Beam管道解码MessagePack消息。我正在使用Maven导入MessagePack库作为依赖项:
<dependency>
<groupId>org.msgpack</groupId>
<artifactId>msgpack-core</artifactId>
<version>0.8.16</version>
</dependency>
我可以使用它来将MessagePack消息解析为Map
中的键/值对,如下所示:
@ProcessElement
public void processElement(ProcessContext c)
{
try
{
Map<Value, Value> map = MessagePack.newDefaultUnpacker(c.element().getPayload()).unpackValue().asMapValue().map();
该映射包含一个MessagePack“时间戳”“扩展”类型的键/值对,它看起来像这样,并表示日期/时间(请参阅底部的“注释”,以获取MessagePack扩展类型的说明) ):
UTC=(-1,0x5b-161d46)
我可以通过从地图上用键UTC
获得一个“时间戳”值。我像这样将其作为MessagePack ExtensionValue
检索:
Value date = map.get(ValueFactory.newString("UTC")).asExtensionValue();
date
是具有2个属性的对象:
`type` = 1
`data` = `0x5b-161d46`
如何将data
转换为有意义的日期表示形式? “数据”应转换为“当前”日期,大约在2018年11月16日左右。它不像将十六进制值转换为十进制那样简单。我是否需要以某种方式分别打开此data
的包装?我怀疑5b-161d46
可能需要被视为字节数组,然后以某种方式进行转换。
我可以这样做来获取扩展类型的data
部分作为字节数组:
byte[] date = map.get(ValueFactory.newString("UTC")).asExtensionValue().getData();
这给了我[91, -22, 29, 70]
...,我可以尝试像这样打开它的包装:
MessagePack.newDefaultUnpacker(date).unpackValue()
...但是,这只是给我第一个字节(5b
)转换为long
即91
如果我尝试其中的任何一种操作,我都会得到org.msgpack.core.MessageTypeCastException
,可能是因为unpackValue
只给了我一个long
号码
MessagePack.newDefaultUnpacker(date).unpackValue().asIntegerValue();
MessagePack.newDefaultUnpacker(date).unpackValue().asMapValue();
MessagePack.newDefaultUnpacker(date).unpackValue().asRawValue();
我也尝试了以下方法:
MessageUnpacker unpacker = MessagePack.newDefaultUnpacker(date);
while(unpacker.hasNext()) {
MessageFormat f = unpacker.getNextFormat();
switch(f) {
case POSFIXINT:
case NEGFIXINT: {
int v = unpacker.unpackInt();
break;
}
}
}
数组中的值被识别为POSFIXINT
或NEGFIXINT
,因此我可以使用它为数组中的每个字节提取十进制整数值,但是这仅允许我提取元素在date
数组中作为整数,而我仍然不知道如何将其转换为日期。
如何解释/解开这些日期?
注意-扩展值是MessagePack值的特殊类型,表示为元组,其中
-1
定义扩展类型。-1
是 MessagePacktimestamp
的保留扩展名,其余 给出十六进制值(0x5b-161d46
):https://github.com/msgpack/msgpack/blob/master/spec.md#timestamp-extension-type
答案 0 :(得分:1)
我知道了!首先,简短的版本(如何在Java中将MessagePack时间戳值转换为有意义的数字):
import java.nio.ByteBuffer
byte[] timestampValues = myTimestampExtensionValue.asExtensionValue().getData();
ByteBuffer wrapped = ByteBuffer.wrap(timestampValues);
Long dateValue = wrapped.getLong();
在我自己的情况下,我将日期作为时间戳记扩展值作为映射中键/值对的一部分接收,如下所示:
UTC=(-1,0x5b-e28-35)
这可能是多种格式,这非常令人困惑,例如:
(-1,0x5b-1b6f-24)
(-1,0x5b-1b7056)
(-1,0x5b-1b58-4)
我发现的是,如果我这样做:
byte[] date = map.get(ValueFactory.newString("UTC")).asExtensionValue().getData();
...它总是给我一个32位字节的数组。对于我的示例UTC=(-1,0x5b-e28-35)
,我得到:
[91, -14, 40, -53]
这也让我感到困惑-我看不到这怎么可能是整数。要认识的是,这些是带符号的字节,其中负值是要从该字节的最大值减去的值,即255 。
我不确定为什么会发生这种情况(可能通过在每个字节中占用更少的空间来节省内存)。无论如何,以上示例将十进制转换为以下内容:
[91, 241, 40, 202]
在Java中,有一种简单的方法可以通过导入[91, -14, 40, -53]
并使用以下命令将原始字节数组java.nio.ByteBuffer
转换为Integer:
ByteBuffer wrapped = ByteBuffer.wrap(date);
Integer num = wrapped.getInt();
对于我的示例,这给了我们1542596811
,事实证明距离Unix时代已经秒了。因此,如果将其转换为毫秒,我们现在将得到1542596811000
或日期Mon 19 November 2018, 14:06:51
。简单!