Keras model.predict函数给出输入形状错误

时间:2018-08-14 19:19:48

标签: python tensorflow machine-learning keras deep-learning

我已经在Tensorflow中实现了通用句子编码器,现在我正在尝试预测句子的类概率。我也将字符串转换为数组。

代码:

if model.model_type == "universal_classifier_basic":
    class_probs = model.predict(np.array(['this is a random sentence'], dtype=object)

错误消息:

InvalidArgumentError (see above for traceback): input must be a vector, got shape: []
     [[Node: lambda_1/module_apply_default/tokenize/StringSplit = StringSplit[skip_empty=true, _device="/job:localhost/replica:0/task:0/device:CPU:0"](lambda_1/module_apply_default/RegexReplace_1, lambda_1/module_apply_default/tokenize/Const)]]

任何线索,建议或解释都受到欢迎和高度赞赏。 谢谢:)

1 个答案:

答案 0 :(得分:0)

这不是您想要的那么容易。通常,模型期望输入一个整数向量。每个整数表示词汇表中相应单词的索引。例如

vocab = {"hello":0, "world":1}

您想将句子“ hello world”输入网络,然后按照以下步骤构建向量:

net_input = [vocab.get(word) for word in "hello world".split(" ")]

还请注意,如果您使用小批量训练网络,则还需要为要馈入网络的向量添加额外的第一维。您可以使用numpy轻松做到这一点:

import numpy as np
net_input = np.expand_dims(net_input, 0)

通过这种方式,您的net_input的形状为[1、2],您可以将其输入网络。

仍然存在一个问题,该问题可能会阻止您使用这样的媒介来向网络供电。在训练时,您可能已经为输入定义了占位符,该占位符具有精确的len(30、40个令牌)。在测试时,如果感觉不到整个长度,则需要以填充该句子的大小为代价来匹配该大小,或者如果感觉更长,则需要将该句子的大小切成小段。

您可以截断或添加填充,如下所示:

net_input = [old_in[:max_len] + [vocab.get("PAD")] * (max_len - len(old_in[:max_len])] for old_in in net_input]

此行代码在必要时将old_in[:max_len]截断为最大可能的len(请注意,如果len小于max_len,python将不执行任何操作),并填充max len和实际len之间的差((max_len - len(old_in[:max_len]))个带有填充令牌(+ [vocab.get("PAD")])的插槽

希望这会有所帮助。

如果您不是这种情况,请在答案中写下评论,我将尝试找出其他解决方案。