使用dl4j RecordReader

Question

我计划在以下格式的数据集上使用dl4j：

  

{“ articles”：[{“ abstractText”：“ text ..”，“ journal”：“ journal ..”，“ meshMajor”：[“ mesh1”，...，“ meshN”]，   “ pmid”：“ PMID”，“ title”：“ title ..”，“ year”：“ YYYY”}，...，{..}]}

字段meshMajor包含类标签，其余为模型的输入。输入要素是文本数据。

我想知道是否有内置的JSON数据集迭代器，例如CSV迭代器。我在github上发布的示例中查找，但找不到。如果没有一个可用的工具，有人可以提供一些实施建议。

谢谢！

Answer 1

这似乎是一个有希望的开始：

https://deeplearning4j.org/docs/latest/datavec-serialization

然后您应该可以在此处使用示例：

https://github.com/deeplearning4j/dl4j-examples/tree/master/datavec-examples/src/main/java/org/datavec/transform/basic

Answer 2

已经在DL4J的问题中问了这个问题，解决方案是使用Jackson记录读取器。 https://github.com/deeplearning4j/DataVec/tree/master/datavec-api/src/main/java/org/datavec/api/records/reader/impl/jackson提供了更多详细信息，有关JSON的示例，请参见

1. https://github.com/deeplearning4j/DataVec/blob/master/datavec-api/src/test/java/org/datavec/api/records/reader/impl/JacksonLineRecordReaderTest.java和

2. https://github.com/deeplearning4j/DataVec/blob/master/datavec-api/src/test/java/org/datavec/api/records/reader/impl/JacksonRecordReaderTest.java

请注意，JacksonLineRecordReader和JacksonRecordReaderTest.java之间存在区别，前者要求每条JSON记录精确地跨越一行，而后者则需要每条JSON记录一个文件。