Question

我们的系统设置包括两个Weblogic 10.3服务器：一个托管表示层，另一个托管EJB。系统在中等负载下运行一段时间（一到几天），之后从表示服务器到EJB服务器的EJB方法调用开始失败，并出现以下错误：

java.rmi.RemoteException: java.rmi.UnmarshalException: error unmarshalling arguments; nested exception is: java.io.OptionalDataException

堆栈追踪：

java.io.OptionalDataException
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1349)
    at java.io.ObjectInputStream.readObject(ObjectInputStream.java:351)
    at weblogic.utils.io.ChunkedObjectInputStream.readObject(ChunkedObjectInputStream.java:197)
    at weblogic.rjvm.MsgAbbrevInputStream.readObject(MsgAbbrevInputStream.java:564)
    at weblogic.utils.io.ChunkedObjectInputStream.readObject(ChunkedObjectInputStream.java:193)
    at weblogic.jndi.internal.RootNamingNode_WLSkel.invoke(Unknown Source)
    at weblogic.rmi.internal.BasicServerRef.invoke(BasicServerRef.java:589)
    at weblogic.rmi.cluster.ClusterableServerRef.invoke(ClusterableServerRef.java:230)
    at weblogic.rmi.internal.BasicServerRef$1.run(BasicServerRef.java:477)
    at weblogic.security.acl.internal.AuthenticatedSubject.doAs(AuthenticatedSubject.java:363)
    at weblogic.security.service.SecurityManager.runAs(Unknown Source)
    at weblogic.rmi.internal.BasicServerRef.handleRequest(BasicServerRef.java:473)
    at weblogic.rmi.internal.wls.WLSExecuteRequest.run(WLSExecuteRequest.java:118)

遇到第一个OptionalDataException后，所有后续调用都会失败并返回相同的结果。一些消息来源表明，这可能与群集多播端口配置错误有关。但是，这些服务器不属于群集。

引导EJB服务器总是暂时解决问题，但问题似乎会在一段时间后再次发生。

更新：似乎问题是而不是与套接字连接数量的溢出有关（请参阅下面我自己的答案）。在禁止网络类加载后，我们非常稳定地运行了一个星期，之后我们再次开始在演示服务器上接收OptionalDataExceptions（下面的堆栈跟踪）。很奇怪，系统运行一周，然后开始失败。

javax.naming.CommunicationException [Root exception is java.rmi.UnmarshalException: error unmarshalling arguments; nested exception is:
    java.io.OptionalDataException]
    at weblogic.jndi.internal.ExceptionTranslator.toNamingException(ExceptionTranslator.java:74)
    at weblogic.jndi.internal.WLContextImpl.translateException(WLContextImpl.java:439)
    at weblogic.jndi.internal.WLContextImpl.lookup(WLContextImpl.java:395)
    at weblogic.jndi.internal.WLContextImpl.lookup(WLContextImpl.java:380)
    at javax.naming.InitialContext.lookup(InitialContext.java:392)
    ...
Caused by: java.rmi.UnmarshalException: error unmarshalling arguments; nested exception is:

    java.io.OptionalDataException
    at weblogic.rjvm.ResponseImpl.unmarshalReturn(ResponseImpl.java:234)
    at weblogic.rmi.cluster.ClusterableRemoteRef.invoke(ClusterableRemoteRef.java:348)
    at weblogic.rmi.cluster.ClusterableRemoteRef.invoke(ClusterableRemoteRef.java:259)
    at weblogic.jndi.internal.ServerNamingNode_1030_WLStub.lookup(Unknown Source)
    at weblogic.jndi.internal.WLContextImpl.lookup(WLContextImpl.java:392)  
    ... 38 more
Caused by: java.io.OptionalDataException
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1349)
    at java.io.ObjectInputStream.readObject(ObjectInputStream.java:351)
    at     
    weblogic.utils.io.ChunkedObjectInputStream.readObject(ChunkedObjectInputStream.java:197)
    at weblogic.rjvm.MsgAbbrevInputStream.readObject(MsgAbbrevInputStream.java:564)
    at     
weblogic.utils.io.ChunkedObjectInputStream.readObject(ChunkedObjectInputStream.java:193)
    at weblogic.jndi.internal.RootNamingNode_WLSkel.invoke(Unknown Source)
    at weblogic.rmi.internal.BasicServerRef.invoke(BasicServerRef.java:589)
    at weblogic.rmi.cluster.ClusterableServerRef.invoke(ClusterableServerRef.java:230)
    at weblogic.rmi.internal.BasicServerRef$1.run(BasicServerRef.java:477)
    at        
weblogic.security.acl.internal.AuthenticatedSubject.doAs(AuthenticatedSubject.java:363)
    at weblogic.security.service.SecurityManager.runAs(Unknown Source)
    at weblogic.rmi.internal.BasicServerRef.handleRequest(BasicServerRef.java:473)
    at weblogic.rmi.internal.wls.WLSExecuteRequest.run(WLSExecuteRequest.java:118)
    ... 2 more

我们以标准方式获得初始上下文：

Properties p = new Properties();
p.put(Context.INITIAL_CONTEXT_FACTORY, "weblogic.jndi.WLInitialContextFactory");
p.put(Context.PROVIDER_URL, serverPath);
Context context = new InitialContext(p);

对任何获取的引用的调用也会因类似的OptionalDataException而失败。单独引导演示服务器可以暂时解决问题。

Answer 1

最后我们找到了解决方案（编辑：后来我们发现这不是问题的根本原因，而是一个单独的严重问题。对于最终解决方案，请参阅下面的答案）。一旦我们开始收到以下异常，我们就会找到原因：

<BEA-000403> <IOException occurred on socket: Socket[addr=/x.x.x.x,port=3266,localport=7001]
 java.net.SocketException: Connection refused.
java.net.SocketException: Connection refused
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:129)
at weblogic.socket.SocketMuxer.readReadySocketOnce(SocketMuxer.java:887)
at weblogic.socket.SocketMuxer.readReadySocket(SocketMuxer.java:859)
at weblogic.socket.DevPollSocketMuxer.processSockets(DevPollSocketMuxer.java:120)
at weblogic.socket.SocketReaderRequest.run(SocketReaderRequest.java:29)
at weblogic.socket.SocketReaderRequest.execute(SocketReaderRequest.java:42)
at weblogic.kernel.ExecuteThread.execute(ExecuteThread.java:145)
at weblogic.kernel.ExecuteThread.run(ExecuteThread.java:117)

在演示服务器上运行，该服务器运行在与EJB服务器不同的主机上，我们有选项

-Dweblogic.NetworkClassLoadingEnabled=true

显然可以从EJB服务器启用类加载。我们不知道的是，使用此选项可能会导致打开大量网络套接字。使用netstat，我们发现有几千个套接字处于CLOSE_WAIT或FIN_WAIT_2状态。尽管演示服务器上的war文件包含所有这些，但似乎除了类之外，Web UI中的所有元素都是从EJB服务器加载的。由于Weblogic在其启动脚本中删除了文件的ulimit，因此大量的套接字不会导致“文件太多”错误消息。使用测试服务器，我们发现用户在Web UI上单击一下就会在两台服务器之间打开30个套接字。

我们删除了此选项并在演示服务器上重新打包了包含所有必需类的战争，从而无需网络类加载。这导致两台服务器之间的套接字连接数量从数千减少到1。

在摘要中，尽可能避免在Weblogic中加载网络类。

Answer 2

最后，OptionalDataExceptions是历史记录。简而言之，在我们的应用程序代码中，复杂值对象（用作远程方法调用的返回值）将HashMap数据结构作为内部字段。将此字段的类型更改为SynchronizedMap后，OptionalDataExceptions停止发生。似乎在遗留代码中的某个地方，这个Map是以非线程安全的方式处理的。

奇怪的是，这对WLS 8.1没有造成任何问题，但不知何故导致WLS 10进入所有后续远程方法调用（包括JNDI查找）开始失败的状态。

使用OptionalDataException，Weblogic EJB调用在中等负载下开始失败

2 个答案: