对等类加载如何在Apache Ignite中工作?

时间:2017-05-05 11:07:02

标签: ignite

我目前正在研究以下问题,该问题发生在我们的高负荷项目中:

class org.apache.ignite.IgniteDeploymentException: Failed to deploy user message: java.nio.HeapByteBuffer[pos=0 lim=180 cap=180]
at org.apache.ignite.internal.util.IgniteUtils$8.apply(IgniteUtils.java:825)
at org.apache.ignite.internal.util.IgniteUtils$8.apply(IgniteUtils.java:823)
at org.apache.ignite.internal.util.IgniteUtils.convertException(IgniteUtils.java:944)
at org.apache.ignite.internal.IgniteMessagingImpl.send0(IgniteMessagingImpl.java:106)
at org.apache.ignite.internal.IgniteMessagingImpl.send(IgniteMessagingImpl.java:82)
...

Caused by: class org.apache.ignite.internal.IgniteDeploymentCheckedException: Failed to deploy user message: java.nio.HeapByteBuffer[pos=0 lim=180 cap=180]
at org.apache.ignite.internal.managers.communication.GridIoManager.sendUserMessage(GridIoManager.java:1571)
at org.apache.ignite.internal.IgniteMessagingImpl.send0(IgniteMessagingImpl.java:103)
... 25 more

简而言之,案例如下:

  • 三个节点上的分布式缓存,所有节点都在一个工作站上运行(在此测试中);
  • 每个节点上的工作人员;
  • 工作人员之间的消息传递是使用IgniteMessaging完成的(主题具有String的类型,我已经尝试了byte []和ByteBuffer作为消息类);
  • 客户端连接到群集并触发一些业务逻辑,从而导致跨节点消息传递和扫描查询。查询和消息传递正在同时执行。

我们使用具有连续部署模式的对等类加载(问题与共享模式相同)。根据Ignite文档,只有在版本更改时才应重新部署类,但它似乎不起作用。

我在日志中发现了很多类似的消息:

2017-05-05 13:31:28 INFO   org.apache.ignite.logger.java.JavaLogger info Removed undeployed class: GridDeployment [ts=1493980288578, depMode=CONTINUOUS, clsLdr=WebAppClassLoader=MyApp@38815daa, clsLdrId=36c3828db51-0d65e7d5-77bf-444d-9b8b-d18bde94ad13, userVer=0, loc=true, sampleClsName=java.lang.String, pendingUndeploy=false, undeployed=true, usage=0]
...
2017-05-05 13:31:29 INFO   org.apache.ignite.logger.java.JavaLogger info Removed undeployed class: GridDeployment [ts=1493980289125, depMode=CONTINUOUS, clsLdr=WebAppClassLoader=MyApp@355f6680, clsLdrId=1dd3828db51-1b20df7a-a98d-45a3-8ab6-e5d229945830, userVer=0, loc=true, sampleClsName=java.lang.String, pendingUndeploy=false, undeployed=true, usage=0]
...

这是我使用ByteBuffer作为消息类型的时候。在byte []的情况下,B类[正在不断重新部署。

我已经对Ignite内核进行了一些分析,并怀疑是否在类加载器中的所有类中触发了取消部署,此时至少有一个驻留在该类加载器中的类被重新部署在其他加载器中。

它发生在org.apache.ignite.spi.deployment.local.LocalDeploymentSpi #register

  • 首先,我们获得了“为注册课程添加新资源的地图” loader“使用LocalDeploymentSpi #addResource。
  • 然后我们“除了{@code ignoreClsLdr}之外的所有类加载器的资源。”使用LocalDeploymentSpi #removeResources。在这个方法中,看起来我们将包含旧版本新资源的所有加载器添加到“注定”集合中。
  • 最后,我们迭代这个集合并为每个元素调用onClassLoaderReleased。后一个操作实际上会导致所有类被取消部署(最终导致“已删除的未部署的类”消息)。

我不明白这个概念。为什么有多个类加载器?为什么我们在这种情况下取​​消部署整个类加载器?

如果有人能解释一下,我会很感激,同行类加载如何在Ignite“引擎盖下”工作。

P.S。我正在查看Ignite 2.1.0的新快照的来源,但行为与标准的Ignite 1.9.0相同。

1 个答案:

答案 0 :(得分:0)