[译文]OpenAI Five(openai five论文)
OpenAI Five论文揭秘：实验精确迁移工具，胜率99.4%的Dota 2 AI
一、OpenAI Five项目介绍
1. OpenAI Five的发展历程：经过三年的发展，OpenAI Five成了首个克服世界冠军战队的AI系统。
2. 论文的目的：公然OpenAI Five在Dota 2上获得超过人类水平的成果，并介绍其设计和关键细节。
二、OpenAI Five的训练进程
1. 训练装备和算法：OpenAI Five使用了256个GPU和128,000个CPU进行训练，采取近端策略优化(PPO)作为强化学习算法。
2. 自学经验：OpenAI Five每天玩的游戏量相当于人类玩家180年的积累，通过自学从中提取经验。
三、对战成绩和实验结果
1. 对克服率统计：OpenAI Five在超过7000局游戏中的胜率到达99.4%。
2. 对AI系统的挑战：超出世界冠军战队是OpenAI Five的一个重要里程碑。
四、OpenAI Five的AI算法和策略
1. 网络架构：OpenAI Five的网络聚焦于感知任务和运动控制，策略和战术依赖于一个包括1024个神经元的网络。
2. 可扩大性和提升空间：论文指出OpenAI-Five在算法和方法上还有提升空间，如WorldModels、MCTS、IL、HRL等。
五、游戏机制变化和限制
1. 英雄和道具的限制：OpenAI Five只支持Dota 2中的17个英雄，对部份道具允许使用。
2. 游戏机制变化：与正常的Dota 2比赛相比，OpenAI Five有一些区别的游戏机制。
六、开放性和社区试玩
1. 论文开放和试玩：OpenAI将论文和系统开放给Dota 2社区进行试玩。
2. 社区反响和意见：OpenAI Five的强大表现引发了广大社区的关注和讨论。
七、结论和展望
1. 成果总结：OpenAI Five通过大量计算和精确迁移工具在Dota 2中获得了99.4%的胜率，展现了强化学习算法的突破能力。
2. 未来发展方向：论文指出OpenAI-Five还有提升空间，可以进一步研究和利用其他AI方法和算法。
openai five论文的进一步展开说明
进一步展开说明：
OpenAI Five是由五个神经元网络组成的团队，目前已能够在DOTA2游戏中击败非职业队伍。该团队的目标是在今年8月的TI8比赛上，使用限定的英雄池击败顶级职业队伍。虽然他们可能不会成功，由于DOTA2是世界上最流行、最复杂的电子竞技之一，具有着训练有素的职业选手。但是，OpenAI Five每天通过自我对抗的训练数据，相当于正常游戏时间180年。训练使用大范围版本的Proximal Policy Optimization算法，在256个GPU和128,000个CPU核心上运行。团队使用每一个英雄配置非人类玩家数据，并通过LSTM学习游戏策略。
但是，OpenAI Five面临着一些困难。首先，DOTA2是一个实时策略游戏，需要具有长时间的预感性。每场DOTA游戏大约延续45分钟，每秒产生30帧，整场游戏大约有80,000帧。而且，单位和建筑只能查看围绕它们附近的信息，其他地方则被战争迷雾覆盖。另外，DOTA2的操作空间非常庞大，每一个英雄有几十个操作选择，平均每次操作有1000个有效选择。游戏还触及到许多连续观测空间，如地图、英雄、建筑等等。
团队使用基于Proximal Policy Optimization的大范围版本来训练OpenAI Five。他们的训练数据每天相当于正常游戏时间的180年。团队意想到，长时间计划不一定需要对学习算法有突破性进展。另外，他们强调了良好的获益机制对研究的重要性。
OpenAI Five的模型结构包括一个单层的LSTM网络，用于观测游戏状态并选择行动。每一个行动都有自己的实际意义，如何履行行动和作用于哪一个点上。另外，通过Random模块履行随机操作来提高AI代理的效果。
OpenAI Five与人类的对战中存在一些差异。OpenAI Five取得相同的战局信息，但立便可见的数据需要手动查看，而不是模仿人类行动来视察状态。另外，OpenAI Five的反应速度比人类玩家快，并且可以在一分钟内进行150⑴70个操作。
团队希望能够在8月份的比赛中获得成功，但他们也意想到这个目标可能不会实现。但是，他们相信努力工作并运气之下，总会有机会获得成功。他们希望OpenAI Five的成果能够超出DOTA，并利用于真实世界的挑战中。
研究者已意想到长时间计划不一定需要对学习算法有突破性进展，而良好的获益机制对研究也非常重要。他们还提到了他们使用的训练系统“Rapid”，该系统可以在任何Gym环境中运行，并用于解决其他问题。
虽然OpenAI Five在与非职业队伍的对战中获得了一些成果，并与人类选手进行了对抗，但团队承认仍有许多挑战需要克服。虽然他们获得了一些成功，但他们依然需要进一步研究全部游戏环境，其实不断优化他们的AI系统。
全部项目的目标是将OpenAI Five训练成一个能够处理DOTA这样复杂游戏挑战的智能系统，并且利用到更广泛的现实世界中。团队鼓励对AI技术的发展保持开放的态度，并约请感兴趣的人加入他们的研究。
openai five论文的常见问答Q&A
问题1：OpenAI Five是甚么？
答案：OpenAI Five 是 OpenAI 的 Dota 2 人工智能智能体项目。它经过三年的发展，通过大范围深度强化学习，已成了首个克服了世界冠军战队的 AI 系统。OpenAI Five 使用了强化学习算法 PPO（近端策略优化）和大范围计算装备，训练装备包括 256 个 GPU 和 128,000 个 CPU。OpenAI Five 的胜率高达 99.4%，并且在训练进程中从自学中提取经验。
- OpenAI Five 是 OpenAI 的 Dota 2 人工智能智能体项目。
- 通过大范围深度强化学习训练，OpenAI Five 成了首个克服了世界冠军战队的 AI 系统。
- OpenAI Five 使用了 PPO（近端策略优化）算法和大范围计算装备进行训练。
- OpenAI Five 的胜率高达 99.4%，并且从自学中提取经验。
问题2：OpenAI Five训练进程中使用了甚么方法和技术？
答案：在 OpenAI Five 的训练进程中，使用了以下方法和技术：
- 大范围深度强化学习：OpenAI Five 使用了大范围深度强化学习方法进行训练，通过反复与自己和其他团队进行对战来不断优化策略。
- PPO（近端策略优化）算法：OpenAI Five 使用了 PPO 算法来优化策略，该算法能够在训练进程中不断调剂策略以提高胜率。
- 自学习：OpenAI Five 在训练进程中通过自学习来提取经验，从而改良本身策略和技能。
问题3：OpenAI Five与人类团队的对战结果如何？
答案：OpenAI Five 在与人类团队的对战中获得了优良的成绩。在之前的一次对战中，由五名人类组成的战队与 OpenAI Five 进行对战，结果人类战队全程以0:2败下阵来，且只推掉了两座外塔。这表明在当前阶段下，OpenAI Five 在 Dota 2 的水平远超人类。
- OpenAI Five 在与人类团队的对战中获得了优良的成绩。
- 在一次对战中，由五名人类组成的战队全程以0:2败下阵来，且只推掉了两座外塔。
- 这表明在当前阶段下，OpenAI Five 在 Dota 2 的水平远超人类。
