Question

我正在使用openAI的stable-baselines训练强化学习代理。我还使用optuna优化了代理程序的超参数。

为了加快处理过程，我在不同的函数调用中使用了多重处理。特别是在docs here中建议的SubprocVecEnv和study.optimize中（分别在1.15.3和1.10.4下）。

import numpy as np
from stable_baselines.common.vec_env import SubprocVecEnv
from stable_baselines import PPO2
from stable_baselines.common.policies import MlpLnLstmPolicy
import optuna

n_cpu = 4


def optimize_ppo2(trial):
    """ Learning hyperparamters we want to optimise"""
    return {
        'n_steps': int(trial.suggest_loguniform('n_steps', 16, 2048)),
        'gamma': trial.suggest_loguniform('gamma', 0.9, 0.9999),
        'learning_rate': trial.suggest_loguniform('learning_rate', 1e-5, 1.),
        'ent_coef': trial.suggest_loguniform('ent_coef', 1e-8, 1e-1),
        'cliprange': trial.suggest_uniform('cliprange', 0.1, 0.4),
        'noptepochs': int(trial.suggest_loguniform('noptepochs', 1, 48)),
        'lam': trial.suggest_uniform('lam', 0.8, 1.)
    }


def optimize_agent(trial):
    """ Train the model and optimise
        Optuna maximises the negative log likelihood, so we
        need to negate the reward here
    """
    model_params = optimize_ppo2(trial)
    env = SubprocVecEnv([lambda: gym.make('CartPole-v1') for i in range(n_cpu)])
    model = PPO2(MlpLnLstmPolicy, env, verbose=0, nminibatches=1, **model_params)
    model.learn(10000)

    rewards = []
    n_episodes, reward_sum = 0, 0.0

    obs = env.reset()
    while n_episodes < 4:
        action, _ = model.predict(obs)
        obs, reward, done, _ = env.step(action)
        reward_sum += reward

        if done:
            rewards.append(reward_sum)
            reward_sum = 0.0
            n_episodes += 1
            obs = env.reset()

    last_reward = np.mean(rewards)
    trial.report(-1 * last_reward)

    return -1 * last_reward


if __name__ == '__main__':
    study = optuna.create_study(study_name='cartpol_optuna', storage='sqlite:///params.db', load_if_exists=True)
    study.optimize(optimize_agent, n_trials=1000, n_jobs=4)

我在Google colab环境中使用了GPU。我的问题是，在SubprocVecEnv和study.optimize方法中都使用多重处理，如何确定后端中的超参数调整正确执行？换句话说，我怎么知道没有结果被覆盖？

此外，在SubprocVecEnv和study.optimize都可以在多个内核上运行的特定用例中，还有更好的方法来使用GPU多处理吗？（我不确定是否在同一个处理器中创建太多线程会比在更少线程上运行产生更多的开销实际上减慢速度）。

Answer 1

我猜您的代码与报告的here存在相同的问题。稳定基线库使用Tensorflow作为深度学习框架，并且可能导致多次试验之间意外地共享Tensorflow会话。试验试图同时更新单个计算图，并且它们将破坏图。

我认为，如果您修改代码以使用单独的会话进行试验，则可以并行化试验。或者，您可以简单地从n_jobs中删除study.optimize选项。

了解使用GPU多重处理的openAI体育馆和Optuna超参数调整

1 个答案: