Question

我正在尝试生成N组独立的随机数。我有一个简单的代码，显示3组10个随机数的问题。我注意到，即使我使用tf.set_random_seed来设置种子，但不同运行的结果看起来也不相同。任何帮助或评论都将不胜感激。

(py3p6) bash-3.2$ cat test.py 
import tensorflow as tf
for i in range(3):
  tf.set_random_seed(1234)
  generate = tf.random_uniform((10,), 0, 10)
  with tf.Session() as sess:
    b = sess.run(generate)
    print(b)

这是代码的输出：

# output :
[9.604688  5.811516  6.4159    9.621765  0.5434954 4.1893444 5.8865128
 7.9785547 8.296125  8.388672 ]
[8.559105  3.2390785 6.447526  8.316823  1.6297233 1.4103293 2.647568
 2.954973  6.5975866 7.494894 ]
[2.0277488 6.6134906 0.7579422 4.6359386 6.97507   3.3192968 2.866236
 2.2205782 6.7940736 7.2391043]

我想要类似的东西

[9.604688  5.811516  6.4159    9.621765  0.5434954 4.1893444 5.8865128
 7.9785547 8.296125  8.388672 ]
[9.604688  5.811516  6.4159    9.621765  0.5434954 4.1893444 5.8865128
 7.9785547 8.296125  8.388672 ]
[9.604688  5.811516  6.4159    9.621765  0.5434954 4.1893444 5.8865128
 7.9785547 8.296125  8.388672 ]

更新1：的确，我将种子初始化程序放在for循环中的原因是因为我想对它们进行不同的设置（例如，针对不同的MCMC运行来考虑）。这是我的代码，可以完成工作，但是我不确定它是否有效。基本上，我会生成0和2 ^ 32-1之间的几个随机种子，并在每次运行中更改种子。非常感谢您提供的帮助或意见，以提高其内存/ RAM的效率。

import numpy as np
import tensorflow as tf
global_seed = 42
N_chains = 5
np.random.seed(global_seed)
seeds = np.random.randint(0, 4294967295, size=N_chains)

for i in range(N_chains):
    tf.set_random_seed(seeds[i])
    .... some stuff ....
    kernel_initializer = tf.random_normal_initializer(seed=seeds[i])
    .... some stuff
    with tf.Session() as sess:
         .... some stuff .....
 .
 .
 .

Answer 1

在张量流中，随机操作依赖于两个不同的种子：由tf.set_random_seed设置的全局种子和作为操作的参数提供的操作种子。您将找到有关它们与in the docs的关系的更多详细信息。

对于每个随机运算，您都有一个不同的种子，因为每个随机运算都保持其自己的内部状态以生成伪随机数。每个随机生成器保持其自身状态的原因是要进行更改：如果它们共享相同的状态，则在图形中的某个位置添加新的随机生成器会更改所有其他生成器产生的值，从而破坏了用种子。

现在，为什么我们要拥有全球性的和单人种子双重系统？好吧，实际上并不需要全局种子。这样做很方便：它允许立即将所有随机op种子设置为不同的确定性（如果未知）值，而不必详尽地遍历所有这些种子。

根据文档，现在设置了全局种子但没有op种子时，

系统确定性地选择操作种子和图级种子，以便获得唯一的随机序列。

更准确地说，提供的种子是当前图形中创建的最后一个操作的ID。因此，全局播种的随机操作对图形的变化非常敏感，尤其是对在其本身之前创建的图形。

例如，

import tensorflow as tf
tf.set_random_seed(1234)
generate = tf.random_uniform(())
with tf.Session() as sess:
  print(generate.eval())
  # 0.96046877

现在，如果我们之前创建一个节点，结果将更改：

import tensorflow as tf
tf.set_random_seed(1234)
tf.zeros(()) # new op added before 
generate = tf.random_uniform(())
with tf.Session() as sess:
  print(generate.eval())
  # 0.29252338

但是，如果在之后创建节点，则不会影响操作种子：

import tensorflow as tf
tf.set_random_seed(1234)
generate = tf.random_uniform(())
tf.zeros(()) # new op added after
with tf.Session() as sess:
  print(generate.eval())
  # 0.96046877

很显然，就像您的情况一样，如果您生成多个操作，它们将具有不同的种子：

import tensorflow as tf
tf.set_random_seed(1234)
gen1 = tf.random_uniform(())
gen2 = tf.random_uniform(())
with tf.Session() as sess:
  print(gen1.eval())
  print(gen2.eval())
  # 0.96046877
  # 0.85591054

出于好奇，并为了验证种子只是图形中最后使用的ID这一事实，您可以将gen2的种子与gen1对齐，

import tensorflow as tf
tf.set_random_seed(1234)
gen1 = tf.random_uniform(())
# 4 operations seems to be created after seed has been picked
seed = tf.get_default_graph()._last_id - 4
gen2 = tf.random_uniform((), seed=seed)
with tf.Session() as sess:
  print(gen1.eval())
  print(gen2.eval())
  # 0.96046877
  # 0.96046877

显然，这不应通过代码审查。

Answer 2

有一个相关的GitHub issue。但是，根据您的情况，请参阅tf.set_random_seed的文档：

设置图级随机种子。

您可能希望使用相同图和相同操作来获取不同中的相同随机数。会议。

import tensorflow as tf tf.set_random_seed(1234) generate = tf.random_uniform((10,), 0, 10) tf.get_default_graph().finalize() # something everybody tends to forget for i in range(3): with tf.Session() as sess: b = sess.run(generate) print(b)

给予

[9.604688 5.811516 6.4159 9.621765 0.5434954 4.1893444 5.8865128 7.9785547 8.296125 8.388672 ] [9.604688 5.811516 6.4159 9.621765 0.5434954 4.1893444 5.8865128 7.9785547 8.296125 8.388672 ] [9.604688 5.811516 6.4159 9.621765 0.5434954 4.1893444 5.8865128 7.9785547 8.296125 8.388672 ]

在您的情况下，您在同一张图中创建了不同的操作。

Answer 3

对于 Tensorflow 2.0 ，tf.random.set_random_seed(seed)更改为tf.random.set_seed(seed)。

请参阅TF文档：

Answer 4

由于在图中定义了三个generate变量（操作），而没有一个，因此在不同的运行上得到的结果不同。这是因为您在for循环中包含了generate操作，该操作导致三个操作。(Tensor("random_uniform:0"), Tensor("random_uniform_1:0"), Tensor("random_uniform_2:0"))。只需在for循环内执行print(generate)。您将看到上述三种不同的操作。

tf.set_random_seed在图级别设置种子。因此，它确定性地为图中的每个操作选择种子。因此，在每次运行中，为三个generate操作分配了相同的三个种子。这就是为什么对于每次运行，您将在所有三个变量上看到相同结果的原因。有关设置随机种子的更多信息，请查看this。

因此，如果希望每次运行会话都获得相同的结果，则可以执行以下操作：

tf.set_random_seed(1234)
generate = tf.random_uniform((10,), 0, 10)
for i in range(3):
    with tf.Session() as sess:
        b = sess.run(generate)
        print(b)

但是为什么要创建n会话。理想情况下，您应该创建一个会话，然后运行该会话n次。不需要为每次运行创建新的会话，并且每次尝试将图形中的变量和操作放置到设备（GPU或CPU）时都不需要创建新会话。

Answer 5

该聚会晚了，但是随机数生成器已经过大修（请参见https://github.com/tensorflow/community/pull/38以概述该过程），并且tf.random.experimental.Generator类现在提供了所需的功能。

从TF 1.14开始（包括TF 2.0），您可以为生成器提供种子，并获得完全相同的随机数，而与会话，平台甚至架构无关。

import tensorflow as tf

rng = tf.random.experimental.Generator.from_seed(1234)
rng.uniform((), 5, 10, tf.int64)  # draw a random scalar (0-D tensor) between 5 and 10

有关详细信息，请参阅文档：

https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/random/experimental/Generator（TF 2.0）
https://www.tensorflow.org/api_docs/python/tf/random/experimental/Generator（截至目前为TF 1.14）

要解决您的特定问题（我使用的是TF 2.0）：

for i in range(3):
  b = tf.random.uniform((10,), 0, 10, seed=1234)
  print(b)

给予

tf.Tensor(
[2.7339518  9.339194   5.2865124  8.912003   8.402512   0.53086996
 4.385383   4.8005686  2.2077608  2.1795273 ], shape=(10,), dtype=float32)
tf.Tensor(
[9.668942   3.4503186  7.4577675  2.9200733  1.8064988  6.1576104
 3.9958012  1.889689   3.8289428  0.36031008], shape=(10,), dtype=float32)
tf.Tensor(
[8.019657  4.895439  5.90925   2.418766  4.524292  7.901089  9.702316
 5.1606855 9.744821  2.4418736], shape=(10,), dtype=float32)

与此同时

for i in range(3):
  rng = tf.random.experimental.Generator.from_seed(1234)
  b = rng.uniform((10,), 0, 10)
  print(b)

给出您想要的：

tf.Tensor(
[3.581475  1.132276  5.6670904 6.712369  3.2565057 1.7095459 8.468903
 6.2697005 1.0973608 2.7732193], shape=(10,), dtype=float32)
tf.Tensor(
[3.581475  1.132276  5.6670904 6.712369  3.2565057 1.7095459 8.468903
 6.2697005 1.0973608 2.7732193], shape=(10,), dtype=float32)
tf.Tensor(
[3.581475  1.132276  5.6670904 6.712369  3.2565057 1.7095459 8.468903
 6.2697005 1.0973608 2.7732193], shape=(10,), dtype=float32)

Answer 6

我注意到您想让3个不同的向量包含随机数。每次您要运行代码时，都希望这三个包含随机数的向量与第一次相同。这种方法是完全可以解释的，为什么需要四个相同的随机向量。您希望彼此有4个随机向量。

定义图表操作时，可以设置两种类型的种子：由tf.set_random_seed设置的图表级别的纹理，和操作级别的种子，这些种子放置在初始化变量中由于谷物处于图表级别，因此每次结果都不同。您必须使用tf.InteractiveSession（）

CodeSandbox

您将获得4个随机数字向量，其中包含从0到10的数字。

Answer 7

添加此答案以供参考：可重现结果的问题可能不是直接来自TensorFlow，而是来自底层平台。参见this issue on Keras

如果在Nvidia GPU上运行，则Nvidia提供了一个可帮助您获得确定性结果的库：tensorflow-determinism

pip install tensorflow-determinism

您可以这样使用它：

import tensorflow as tf
import os
os.environ['TF_DETERMINISTIC_OPS'] = '1'

，仍然建议添加以下字段：

SEED = 123
os.environ['PYTHONHASHSEED']=str(SEED)
random.seed(SEED)
np.random.seed(SEED)
tf.random.set_seed(SEED)

对于Tensorflow <2.1，在上面添加以下内容：

from tfdeterminism import patch
patch()

使用tf.set_random_seed在Tensorflow中可重现的结果

7 个答案: