openai健身房自定义环境action_space和observation_space howto

Question

我正在尝试实施自定义的openai体育馆环境。动作空间和观察空间都包含值列表和离散空间的组合。 我建模正确吗？ 例如：

        self.action_space = spaces.Tuple((
                                            spaces.Tuple((self.actions)),                                  
                                            spaces.Discrete(101)                                                
                                        ))

其中self.actions是可能动作的值的列表，对于每个动作，可能没有范围100的其他离散动作。 观察空间与值列表和离散值的组合相同。这是建模的正确方法吗？ 另外，我使用keras-rl来运行代理，这需要：

        nb_actions = env.action_space.n and
        model.add(Flatten(input_shape=(1,) + env.observation_space.shape))

如何为元组空间实现n和shape？ 我试过了：nb_actions = len（env.action_space.spaces） 这和n一样吗？ 如何替换env.observation_space.shape？