张量流如何管理张量的内存分配？在计算开始之前还是在计算期间？

Question

我是TensorFlow的新手。我很想知道启动session.run()时TF如何为张量或其他数据分配内存。在实际开始计算之前，它是否一次为所有数据分配内存？还是在运行时动态地仅在遇到张量时分配内存？

例如，使用一些操作创建图形，这些操作具有输入和输出，如张量a，b，c，...，y，z。 session.run()启动时，是否在开始任何计算之前将所有a，b，c，...，y，z分配到所需的内存？还是在运行时遇到它们中的每一个？