Java DDS无限序列导致内存不足错误

时间:2018-07-09 12:09:01

标签: java intellij-idea data-distribution-service rti-dds

我是DDS的新手,并试图在Intellij-IDEA中编写一个简单的Java程序,该程序由3部分组成:

  1. 发送数据的客户端模拟器。
  2. 我的程序模拟器,它从客户端接收数据,对其进行处理,然后将其发送回客户端。
  3. 读取操作数据的客户端模拟器。

我在示例中尝试发送的所有数据都是一个简单的字符串。

我正在使用RTI Code Gen自动生成大多数代码。

没有和unboundedSupport标志(字符串限制为255个字符),一切正常。但是,在应用unboundedSupport标志时,出现以下内存不足错误:

java.lang.OutOfMemoryError: Java heap space
    at com.rti.dds.cdr.CdrBuffer.<init>(Unknown Source)
    at com.rti.dds.cdr.CdrOutputStream.<init>(Unknown Source)
    at com.rti.dds.cdr.CdrOutputStream.<init>(Unknown Source)
    at com.rti.dds.cdr.CdrOutputStream.<init>(Unknown Source)
    at com.rti.dds.infrastructure.EntityImpl.DDS_Entity_enable(Native Method)
    at com.rti.dds.infrastructure.EntityImpl.enable(Unknown Source)
    at com.rti.dds.infrastructure.NativeFactoryMixin.create_entityI(Unknown Source)
    at com.rti.dds.subscription.SubscriberImpl.create_datareader(Unknown Source)
    at json_dds.JsonMessageSubscriber.<init>(JsonMessageSubscriber.java:71)
    at results_consumers.ResultsConsumersMain.main(ResultsConsumersMain.java:10)
create_datareader error

我正在激活首先读取数据的客户端模拟器。

这是我的.idl文件:

struct JsonMessage {
    string msg;
};

这是我的主程序(第10行是subscriber1的初始化):

public static void main(String... args) {
    ClientResultsConsumer clientResultsConsumer = new ClientResultsConsumer();
    JsonMessageSubscriber subscriber1 = new JsonMessageSubscriber(0, clientResultsConsumer,
                                                                               Topics.CLIENT_TOPIC_OUTPUT_1);
    subscriber1.consume();
    ClientResultsConsumer2 clientResultsConsumer2 = new ClientResultsConsumer2();
    JsonMessageSubscriber subscriber2 = new JsonMessageSubscriber(0, clientResultsConsumer2,
                                                                               Topics.CLIENT_TOPIC_OUTPUT_1);
    subscriber2.consume();
    ClientResultsConsumer3 clientResultsConsumer3 = new ClientResultsConsumer3();
    JsonMessageSubscriber subscriber3 =
        new JsonMessageSubscriber(0, clientResultsConsumer3, Topics.CLIENT_TOPIC_OUTPUT_2);
    subscriber3.consume();
  }

这是我的ClientResultsConsumer类:

public class ClientResultsConsumer implements Consumer {

  @Override
  public void consume(String msg) {
    System.out.println("Client results consumer got " + msg);
  }
}

这是我的JsonMessageSubscriber类(第71行是subscriber.create_datareader():

public class JsonMessageSubscriber implements DataConsumer {

  ExecutorService executor = Executors.newSingleThreadExecutor();

  public JsonMessageSubscriber(int domainId, Consumer consumer, String topicName) {

    DomainParticipant participant = DomainParticipantFactory.TheParticipantFactory
        .create_participant(domainId,
                            DomainParticipantFactory.PARTICIPANT_QOS_DEFAULT,
                            null /* listener */,
                            StatusKind.STATUS_MASK_NONE);
    if (participant == null) {
      System.err.println("create_participant error\n");
      System.exit(-1);
    }

    // --- Create subscriber --- //

            /* To customize subscriber QoS, use
            the configuration file USER_QOS_PROFILES.xml */

    Subscriber subscriber = participant.create_subscriber(
        DomainParticipant.SUBSCRIBER_QOS_DEFAULT, null /* listener */,
        StatusKind.STATUS_MASK_NONE);
    if (subscriber == null) {
      System.err.println("create_subscriber error\n");
      System.exit(-1);
    }

    // --- Create topic --- //

    /* Register type before creating topic */
    String typeName = JsonMessageTypeSupport.get_type_name();
    JsonMessageTypeSupport.register_type(participant, typeName);

            /* To customize topic QoS, use
            the configuration file USER_QOS_PROFILES.xml */

    Topic topic = participant.create_topic(
        topicName,
        typeName, DomainParticipant.TOPIC_QOS_DEFAULT,
        null /* listener */, StatusKind.STATUS_MASK_NONE);
    if (topic == null) {
      System.err.println("create_topic error\n");
      System.exit(-1);
    }

    // --- Create reader --- //

    DataReaderListener listener = new JsonMessageListener(consumer);

            /* To customize data reader QoS, use
            the configuration file USER_QOS_PROFILES.xml */

    JsonMessageDataReader reader = (JsonMessageDataReader)
        subscriber.create_datareader(
            topic, Subscriber.DATAREADER_QOS_DEFAULT, listener,
            StatusKind.STATUS_MASK_ALL);
    if (reader == null) {
      System.err.println("create_datareader error\n");
      System.exit(-1);
    }
  }

  // -----------------------------------------------------------------------

  @Override
  public void consume() {
    final long scanTimeMillis = 1000;
    Runnable task = () -> {
      while (true) {
        try {
          TimeUnit.MILLISECONDS.sleep(scanTimeMillis);
        } catch (Exception e) {
          System.err.println(e.getMessage());
        }
      }
    };
    executor.submit(task);
  }
}

不幸的是,除了限制序列大小外,我没有找到其他解决方案,但是我知道将其限制为足够大的数目可以解决我的问题,也将需要大量内存,所以我宁愿这样做所花的费用不超过每封邮件的最低要求。

任何帮助将不胜感激, 谢谢

2 个答案:

答案 0 :(得分:1)

使用-unboundedSupport时,必须在QoS文件中设置一些内存阈值。这些阈值在用户手册中here中进行了描述,它们定义了阈值,在该阈值中,可以动态分配或从预分配的源重新使用样本的内存。这些必须在DataReader和DataWriter中设置。

这些阈值的设置实际上取决于您的数据大小,并且根据您的描述,我没有足够的信息来提供适合您的情况的示例。基本上,您不想为每个样本动态分配内存。这可能会影响性能,具体取决于您的数据速率。您想要选择大多数样本使用预分配内存的值。用户手册中“ Writer-Side Memory Management when Working with Large Data”部分下的示例是视频流,其中包含较大的较低频率的I帧和较小的较高频率的P帧。您可以查看该部分以及相应的DataReader section以获取示例XML文件。

答案 1 :(得分:0)

我使用示例here

设法解决了问题

所要做的就是将自动生成的qos文件路径传递给订阅者/发布者构造函数,并且比在初始化域参与者之前编写这些行(这与上面链接中提供的示例不同,所提供的示例无效)对我来说):

DomainParticipantFactoryQos factoryQos = new DomainParticipantFactoryQos();
DomainParticipantFactory.TheParticipantFactory.get_qos(factoryQos);
factoryQos.profile.url_profile.add(0, qosPolicyPath);
factoryQos.profile.url_profile.setMaximum(1);
DomainParticipantFactory.TheParticipantFactory.set_qos(factoryQos);