Question

我试图以与here类似的方式制作图像字幕模型我使用ResNet50而不是VGG16，还必须通过model.fit_generator（）方法使用渐进加载。我使用了来自here的ResNet50，当我通过设置include_top = False导入它时，它给了我照片的形状{＆＃39; key＆＃39;：[[[[value1，value2，... .value 2048]]]]}，其中＆＃34; key＆＃34;是图像ID。这是我的captionGenerator函数代码： -

def createCaptions(tokenizer, photoData, MaxLength, model):
    for key, feature in photoData.items():
        inSeq = "START"
        for i in range(MaxLength):
            sequence = tokenizer.texts_to_sequences([inSeq])[0]
            sequence = pad_sequences([sequence], maxlen = MaxLength)
            ID = model.predict([np.array(feature[0][0][0]), sequence])
            ID = np.argmax(ID)
            ID = word_for_id(ID)
            if ID is None:
                break
            inSeq += " " + ID
            if ID == "END":
                break
        print(inSeq)

word_for_id函数是： -

def word_for_id(integer, tokenizer):
    for word, index in tokenizer.word_index.items():
        if index == integer:
            return word
    return None

我通过以下方式生成了photoData： -

features = {}
for images in os.listdir(args["image"]):
    filename = args["image"] + '/' + images
    image = load_img(filename, target_size = inputShape)
    image = img_to_array(image)
    image = np.expand_dims(image, axis = 0)
    image = preprocess(image)
    pred = resnet.predict(image)
    image_id = images.split('.')[0]
    features[image_id] = pred
    print('>{}'.format(images))

功能是我的photoData词典。

问题是，在训练数据中我通过以下方式生成照片描述： -

def train_test_data(filename):
    DataFile = open(filename, 'r')
    Data = DataFile.read()
    DataFile.close()

    ImageID = []

    textDataFile = pickle.load(open('descriptions.pkl', 'rb'))

    for line in Data.split('\n'):
        if len(line) < 1:
            continue
        ImageID.append(line.split('.')[0])

    Data = {}

    for key in textDataFile:
        if key in ImageID:
            Data[key] = textDataFile[key]

    for ID in Data:
        for i in range(len(Data[ID])):
            l = Data[ID][i]
            l = "START " + " ".join(l) + " END"
            Data[ID][i] = l

    return Data

在这里，我添加了＆＃34; START＆＃34;和＆＃34;结束＆＃34;分别在每个句子的开头和结尾处。但是在tokenizer.word_index中，＆＃34; START＆＃34;和＆＃34;结束＆＃34;找不到钥匙。那是： -

k = pickle.load(open('word_index.pkl', 'rb'))
print("START" in k)

这会将结果显示为False。请向我解释为什么会这样。如果我这样做： -

k = pickle.load(open('word_index.pkl', 'rb'))
print("start" in k)

答案是真的。

Answer 1

这是因为默认情况下Tokenizer会根据lower=True参数调整单词时的单词。您可以使用小写字母，也可以在创建标记器documentation时传递lower=False。

Tokenizer.word_index不包含＆＃34; START＆＃34;或＆＃34;结束＆＃34;，而不是包含＆＃34;开始＆＃34;和＆＃34;结束＆＃34;

1 个答案: