注意的句子和段落生成模型（CNN + RNN）

Question

我正在寻找一种针对每个医学图像生成文本（多句，一份报告）的解决方案。训练数据具有图像和相应的报告描述（最多18个句子）。目的是根据图像中的模式预测/生成句子。我相信带有CNN的基于语义关注的RNN会更好。

在此方面寻求您的意见和建议。如果您做了类似的工作，请分享详细信息。如何利用图像中的子区域特征-提供特定的发现，可能是图像中的新发现？ Keras中上述实现的任何代码段都是有益的。

谢谢

单句生成的当前代码：

inputs1 = Input(shape=(2048,))
fe1 = Dropout(0.5)(inputs1)
fe2 = Dense(256, activation='relu')(fe1)
inputs2 = Input(shape=(max_length,))
se1 = Embedding(vocab_size, embedding_dim, mask_zero=True)(inputs2)
se2 = Dropout(0.5)(se1)
se3 = LSTM(256)(se2)
decoder1 = add([fe2, se3])
decoder2 = Dense(256, activation='relu')(decoder1)
outputs = Dense(vocab_size, activation='softmax')(decoder2)
model = Model(inputs=[inputs1, inputs2], outputs=outputs)