Reinforcement Learning with OpenAI Gym and Baselines(openai baseline3)
OpenAI Baselines3：稳定强化学习算法库详解及利用指南
1. 介绍OpenAI Baselines3和Stable Baselines3
OpenAI Baselines3是一套高质量的强化学习算法实现，为研究社区提供了更容易重现已发表结果的算法。Stable Baselines3是基于PyTorch的可靠强化学习算法实现的下一个主要版本，对OpenAI Baselines进行了重要结构性重构和代码整理。
2. OpenAI Baselines3的功能和优势
OpenAI Baselines3提供了多种受欢迎的强化学习算法的实现，如A2C、PPO、TRPO、DQN、ACKTR、ACER和DDPG等。它提供了简单的训练环境和管道，使用户可以快速进行模型训练和测试。OpenAI Baselines3是在高性能计算机上进行优化的，可以取得与已发表结果相媲美的性能。
3. 使用OpenAI Baselines3进行强化学习任务
在学习进程中，需要将DDPG的参数传递给learning函数，并进行多个epoch的训练。每一个epoch中包括多个cycles，每一个cycle进行rollout，用于采样和优化网络模型。
4. 解决使用OpenAI Baselines3和Gym进行多智能体强化学习时的KeyError问题
在训练PPO时，可能会遇到“视察”中的KeyError问题。可以尝试使用来自饥饿鹅健身房的环境来解决该问题。
5. 结合OpenAI Gym和Stable Baselines3进行强化学习
OpenAI Gym提供了强化学习的摹拟器接口，可轻松构建环境和任务。Stable Baselines3是基于OpenAI Baselines进行优化的工具链，具有统一的结构和符合PEP8规范的代码。
6. OpenAI Baselines3的工具链和实现算法
OpenAI Baselines是使用TensorFlow 1.14实现的一套工具链，包括各种强化学习算法。Stable Baselines是在OpenAI Baselines基础上进行优化和改进的版本，提供了更可靠的算法实现。
7. 开放源代码的OpenAI Baselines实现
OpenAI Baselines是OpenAI内部的一项努力，旨在复现具有与已发表结果相当的性能的强化学习算法。通过开源，让研究社区能够共享和贡献改进的算法。
8. 总结
OpenAI Baselines3和Stable Baselines3提供了一套可靠和高质量的强化学习算法实现。使用OpenAI Baselines3进行强化学习任务时，需要传递参数并进行多个epoch的学习。结合OpenAI Gym和Stable Baselines3，可以快速构建和训练强化学习模型。通过开放源代码，让更多人可使用和改进OpenAI Baselines算法。
openai baseline3的进一步展开说明
怎么开始强化学习之旅
你会不会有兴趣尝试强化学习，却不知从何开始？对初学者来讲，OpenAI Gym和Benchmarks工具是开启强化学习之旅的绝佳资源。在本文中，我将介绍强化学习的扼要概述、OpenAI Gym和Baselines是甚么和怎样在下一个项目中使用它们。
甚么是强化学习？
在我们开始使用强化学习（RL）之前，我们应当明确RL可以解决的问题类型。在许多机器学习和深度学习问题中，我们使用数据集训练模型来完成给定的任务。如果这个数据集包括训练集的“正确答案”，我们正在使用监督学习。例如，如果我们训练一个算法对狗和猫的图象进行分类，我们可使用已标记好的数据集来指点算法的学习。但是，如果你想训练一个算法来履行某个任务，比如玩游戏或开车，每一个动作上都没有“正确”的答案。强化学习是解决这类问题的一个有效工具，它通过嘉奖好的结果和惩罚不好的结果来教授算法，直到算法学会如何完成任务。虽然今天有许多细微的区别和区别类型的RL可用，但我将把这个讨论留到以后的一篇博客文章中，由于它是为了快速介绍怎样使用这项技术。
OpenAI Gym和Baselines
OpenAI Gym自称为“一个用于开发和比较强化学习算法的工具包”，这使它成为玩弄RL的绝佳出发点。如果你访问他们的环境页面（https://gym.openai.com/envs/#classic_control），你可以查看所有Gym支持的环境，以测试你的RL算法。这些环境的情势各异，从基于文本的Blackjack到试图用机械手控制笔。
一旦你找到你想解决的环境，下一步就是训练模型。为了让初学者更容易上手，OpenAI创建了Baselines（https://github.com/openai/baselines），与Gym环境配套使用。Baselines包括了许多流行的RL算法的实现，并在他们的环境上创建了一个简单的训练流水线。
安装和使用
要安装OpenAI Gym和Baselines，首先在你的GPU机器上安装Conda（链接到Conda安装页面）。
然后，访问此链接（https://drive.google.com/file/d/1Sd5GoTMZ9TypCBmU2SvaT39O66DMXr2_/view?usp=sharing）下载我创建的YAML文件。这个YAML文件将允许你在使用Conda环境时轻松安装运行OpenAI Gym和Baselines所需的所有软件包。下载完文件后，在与刚刚下载的YAML文件相同的目录下运行以下两个命令，将这些软件包安装到你的环境中。
conda env update –file gym_env.yml
conda activate gym
现在，我们已下载了所需的所有Python库，是时候安装Baselines了。首先，如果你还没有Git，请安装Git（链接到Git安装页面）。访问Baselines GitHub库的链接，将库克隆到你的机器上。然后，进入新的Baselines目录，并运行下面的命令，使用pip安装Baselines。
pip install -e .
此时，你应当已有了开始训练模型所需的所有工具。如果在依照这些说明进行训练进程中遇到问题，请随时与我联系。
训练和测试模型
我选择在BipedalWalkerHardcore-v3环境中使用DDPG（深度肯定性策略梯度）算法进行训练。但是，你可以随便尝试Baselines说明中列出的其他算法之一。但一定要注意的是，某些算法在某些环境中不起作用，所以如果尝试训练时出现毛病，请尝试其他算法。你也能够尝试Gym提供的其他环境，不过可能需要在你的Conda环境中安装一些其他软件包来实现。
我用下面的命令来启动模型训练。确保将save_path变量更改成你想要保存训练模型的位置。nohup命令和末尾的&允许你在后台运行并退出终端而不会中断训练。这非常有用，由于这个命令的运行时间根据你使用的算法、指定的时间步数和你的硬件而有可能延续几小时到几天不等。
nohup python -m baselines.run –alg=ddpg –env=BipedalWalkerHardcore-v3 –network=mlp –num_timesteps=2e7 –save_path=/trained/model/location/goes/here &
训练完成后，可以通过Baselines中包括的运行脚本轻松检查模型的性能。下面是我用来查看使用训练好的模型运行的几个示例，并将输出保存为.mp4视频文件的命令。请注意，你需要将load_path变量更改成与之前命令中的save_path匹配。
python -m baselines.run –env=BipedalWalkerHardcore-v3 –num_timesteps=0 –load_path=/trained/model/location/goes/here –play –save_video_interval=1000 –save_video_length=1000
你的运行片断将保存在/tmp目录中。以下是我从运行这些命令中录制的视频之一。正如你所看到的，模型并不是完善，但它确切学会了相当好地走路，并开始学会如何逾越障碍物。接下来，你可以尝试在Baselines中使用区别的模型和训练参数，或尝试使用自己的算法进行训练。现在，你已有了一个基本的强化学习出发点，敬请期待更深入地了解强化学习算法和如何进一步改进你的Agent的性能的文章。
openai baseline3的常见问答Q&A
问题1：OpenAI Baselines 是甚么？
答案：OpenAI Baselines 是一套高质量的强化学习算法实现，它们将使研究社区更容易地利用和比较区别的强化学习算法。
- OpenAI Baslines 提供了一种用于实现和训练强化学习智能体的框架，包括一些经典的强化学习算法，如深度 Q 网络 (DQN) 和 优势演员评论家 (A2C)。
- 这些算法的实现基于 TensorFlow 和 Python，可以在 OpenAI Gym 的环境下进行训练和评估。
- OpenAI Baselines 的目标是提供具有高性能和可靠性的算法实现，使研究人员能够快速迭代和比较区别的算法。
问题2：Stable Baselines3 是甚么？
答案：Stable Baselines3 (简称SB3) 是 PyTorch 中一套可靠且稳定的强化学习算法实现集合，是 Stable Baselines 的下一个重大版本。
- Stable Baselines3 内置了多种经典和先进的强化学习算法，如 PPO、A2C、DQN、ACKTR、ACER 和 DDPG。
- Stable Baselines3 使用 PyTorch 框架实现，具有更好的可扩大性和可读性，同时保持了算法的高性能。
- Stable Baselines3 的目标是提供一套可靠的强化学习算法实现，使研究人员和开发人员能够更轻松地利用这些算法到自己的项目中。
问题3：OpenAI Baselines 和 Stable Baselines3 有何区分？
答案：OpenAI Baselines 和 Stable Baselines3 是两个相关但区别的项目，它们有以下区分：
- OpenAI Baselines 是一套基于 TensorFlow 的强化学习算法实现，而 Stable Baselines3 是基于 PyTorch 的强化学习算法实现。
- OpenAI Baselines 的目标是提供与已发布结果性能相当的算法实现，而 Stable Baselines3 的目标是提供可靠的算法实现。
- Stable Baselines3 是 Stable Baselines 的下一个重大版本，它对算法实现进行了重构和清算，并具有更好的可扩大性和可读性。
- OpenAI Baselines 和 Stable Baselines3 的算法集合略有区别，但二者都包括了一些经典的强化学习算法，如 DQN、A2C 和 PPO。
