我想了解如何在多个cpu上实施多工作者训练。
我尝试了以下方法,但是一个工人和10个工人的速度增益是相同的,这表明我没有正确配置它。
with tf.compat.v1.Session(config=tf.compat.v1.ConfigProto(
inter_op_parallelism_threads=16,
intra_op_parallelism_threads=16)) as sess:
os.environ['TF_CONFIG'] = json.dumps({
'cluster': {
'worker': ["cpu:0", "cpu:1",'cpu:2','cpu:3','cpu:4','cpu:5','cpu:6','cpu:7','cpu:8','cpu:9']
},
'task': {'type': 'worker', 'index': 0}
})
os.environ['TF_CONFIG'] = json.dumps({
'cluster': {
'worker': ["cpu:0", "cpu:1",'cpu:2','cpu:3','cpu:4','cpu:5','cpu:6','cpu:7','cpu:8','cpu:9']
},
'task': {'type': 'worker', 'index': 1}
})