调整一个由 4 帧组成的健身房环境的状态（atari 环境）

Question

我正在开发基于 DQN 的自治代理。我正在使用健身房库来制作我想要测试的环境，但我一直在处理状态的帧。健身房环境返回的状态，使用FrameStack包装器，有如下观察空间：

env = gym.make('Bowling-v0')
env = gym.wrappers.FrameStack(env, 4)
print(env.observation_space)

Box(0, 255, (4, 210, 160, 3), uint8)

我希望观察空间为 Box(0, 255, (4, 88, 80, 1), uint8)。我能怎么做？我试过使用另一个这样的包装器：

env = gym.wrappers.ResizeObservation(env, (4, 88, 80, 1))
print(env.observation_space)

但是产生的观察空间是Box(0, 255, (4, 88, 80, 1, 160, 3), uint8)。我做错了什么？

Answer 1

固定！我只是做错了。

env = gym.make('Bowling-v0')
print(env.observation_space)

Box(0, 255, (210, 160, 3), uint8)

必须首先应用调整大小，然后仅在调整大小之后应用堆叠！

env = gym.wrappers.ResizeObservation(env, (88, 80))
print(env.observation_space)

Box(0, 255, (88, 80, 3), uint8)

所以现在我们可以继续使用 FrameStack 包装器进行堆叠

env = gym.wrappers.FrameStack(env, 4)
print(env.observation_space)

Box(0, 255, (4, 88, 80, 3), uint8)