将关键点构建为神经网络的输入

时间:2017-09-21 16:34:21

标签: tensorflow neural-network keras conv-neural-network keypoint

背景

我有一个神经网络输出姿势的关键点(脚,脚踝,膝盖,手臂,头部等)和连接 - 基本上我有一个骨架。我想使用这些关键点/骨架作为另一个神经网络的输入 - 关系网络(https://arxiv.org/pdf/1706.01427.pdf)。目标是学习姿势和不同物体之间的关系。

问题

由于我正在使用关键点,我不确定构造它们的最佳方法是什么作为输入。我已经考虑过将关键点转换为图像,其中每个X / Y位置的值都为0,除非它被值设置为1的骨架覆盖。但这似乎效率低下。有没有办法保留使用图像的结构优势(我可以使用卷积网),而不会影响性能?

1 个答案:

答案 0 :(得分:0)

您应该将您的建议存储在HxW张量中(或者称之为图像),因为在处理“图片”时您可以使用更多工具。

根据您的性能需求和关键点数量,您还可以考虑Sparse Tensors仅存储不等于0的值,但是您应该检查特殊稀疏张量操作是否完全支持您所需的操作