将HER集成到Pong-v0中

Question

我想将HER集成到我的代码中。我已经创建了所有环境，但有一个问题，因为我的环境不是从OpenAI继承的，所以我想知道是否可以修改某些变量以使用OpenAI的HER，而不必从头开始编写它。 这是我收到的错误： AttributeError：“ Box”对象没有属性“ spaces”。

这是我要用的姿势。

model = HER('MlpPolicy', env, SAC, n_sampled_goal=4,
            goal_selection_strategy='future',
            verbose=1, buffer_size=buffer_size,
            learning_rate=1e-3,
            gamma=0.95, batch_size=256,
            policy_kwargs=dict(layers=[256, 256, 256]))