我正在使用Mirth Connect v3.5.2.b204来读取大型逗号分隔值(147mb)文件,以将行转换为HL7 v2.4消息。
来源: 我已配置文件读取器连接器类型,从包含.csv文件的目录中提取记录。处理完文件后,应将其移动到已处理的文件目录中。
目的地: 连接器类型指向TCP发送器,其中推送转换后的.csv记录到HL7消息。
问题: 即使在完成处理最后一条记录(数字700k)之后,Mirth似乎仍在继续阅读文件。因此,接收的记录计数不断增加并重新发送已处理的消息。请注意,较小的文件未发生此频道问题,例如40MB
分辨率: 我停止了欢乐服务,从源文件夹中删除了.csv并重新启动了欢乐服务。由于文件阅读器没有文件可读取被抓住的计数增加,转换处理仍在继续。
查询: 1.这个错误是什么意思? 转换后的消息是否仍然可行?查看示例.csv行到HL7的转换正在执行正确的格式化。
欢乐日志的错误消息:
ERROR 2018-04-30 16:32:07,581 [File Reader Polling Thread on data import (342c3cbc-433b-4965-8323-c2aebff38765) < 342c3cbc-433b-4965-8323-c2aebff38765_Worker-1] com.mirth.connect.connectors.file.FileReceiver: Error reading file D:\Mirth_source\Full Data 2 2018_04_27.txt
Java heap space
ERROR 2018-04-30 16:32:07,604 [File Reader Polling Thread on Patient import (342c3cbc-433b-4965-8323-c2aebff38765) < 342c3cbc-433b-4965-8323-c2aebff38765_Worker-1] com.mirth.connect.connectors.file.FileReceiver: Error processing file in channel: 342c3cbc-433b-4965-8323-c2aebff38765
com.mirth.connect.connectors.file.FileConnectorException: Error reading file D:\Mirth_source\Full Data 2 2018_04_27.txt
Java heap space
at com.mirth.connect.connectors.file.FileReceiver.processFile(FileReceiver.java:371)
at com.mirth.connect.connectors.file.FileReceiver.processFiles(FileReceiver.java:247)
at com.mirth.connect.connectors.file.FileReceiver.poll(FileReceiver.java:203)
at com.mirth.connect.donkey.server.channel.PollConnectorJob.execute(PollConnectorJob.java:49)
at org.quartz.core.JobRunShell.run(JobRunShell.java:213)
at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:557)
Caused by: java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Unknown Source)
at java.lang.AbstractStringBuilder.ensureCapacityInternal(Unknown Source)
at java.lang.AbstractStringBuilder.append(Unknown Source)
at java.lang.StringBuilder.append(Unknown Source)
at com.mirth.connect.plugins.datatypes.delimited.DelimitedReader.getChar(DelimitedReader.java:551)
at com.mirth.connect.plugins.datatypes.delimited.DelimitedReader.getColumnValue(DelimitedReader.java:438)
at com.mirth.connect.plugins.datatypes.delimited.DelimitedReader.getRecord(DelimitedReader.java:232)
at com.mirth.connect.plugins.datatypes.delimited.DelimitedBatchAdaptor.getMessage(DelimitedBatchAdaptor.java:152)
at com.mirth.connect.plugins.datatypes.delimited.DelimitedBatchAdaptor.getMessageFromReader(DelimitedBatchAdaptor.java:105)
at com.mirth.connect.plugins.datatypes.delimited.DelimitedBatchAdaptor.getNextMessage(DelimitedBatchAdaptor.java:96)
at com.mirth.connect.donkey.server.message.batch.BatchAdaptor.getMessage(BatchAdaptor.java:44)
at com.mirth.connect.donkey.server.channel.SourceConnector.dispatchBatchMessage(SourceConnector.java:231)
at com.mirth.connect.donkey.server.channel.SourceConnector.dispatchBatchMessage(SourceConnector.java:196)
at com.mirth.connect.connectors.file.FileReceiver.processFile(FileReceiver.java:331)
答案 0 :(得分:1)
您可能希望了解使用批处理。您可以通过在源设置上将处理批处理设置为是来启用它。
这将使频道从CSV中读取每条记录作为单独的消息,一次一个。使用文件阅读器时,这也意味着整个文件将不一次性读入内存。