TensorFlow - 图像中的特定数字识别（类似SVHN）

Question

我正在尝试使用TensorFlow构建一个分类器来识别神经网络中文本的特定部分。我受到SVHN项目的启发，以识别足球图片中的时钟。在整个项目期间，我只关注时钟。我添加了一张图片，以便更清楚地了解我的项目。

我做的第一件事是全天候裁剪图片并预测数字（例如，它可能是3或4位9:38或11:34）。它运作良好，我的准确度很高（测试集为90％），我的训练集有20k张图片。

现在我想做一些更复杂的事情，我认为神经网络应该可以做到，但我不确定。所以我没有完全裁剪时钟，但我裁掉了整个记分牌（有球队名称等），我还想预测时钟。
我尝试了20k张照片和40k张照片进行训练。在这两种情况下，我只有70％的准确度在测试集上。时钟几乎总是在图片中的相同位置（在记分板的顶部）。

我不明白为什么准确度如此之低。如果有人有线索，那将非常有帮助。非常感谢您的帮助。

规格：

图片尺寸：32x32
标签数量： 11（0-9 +空白）
型号：
7层CNN。
C1：卷积层，batch_size x 28 x 28 x 16，卷积大小：5 x 5 x 1 x 16
S2：子采样层，batch_size x 14 x 14 x 16
C3：卷积层，batch_size×10×10×32，卷积尺寸：5×5×16×32
S4：子采样层，batch_size x 5 x 5 x 32
C5：卷积层，batch_size x 1 x 1 x 64，卷积大小：5 x 5 x 32 x 64
降
F6：全连接层，重量：64 x 16
输出层，重量大小：16 x 11