项目简介

OpenRL 是由第四范式强化学习团队开发的基于PyTorch的强化学习研究框架，支持单智能体、多智能体、离线强化学习、自博弈训练、自然语言等多种任务的训练。OpenRL基于PyTorch进行开发，目标是为强化学习研究社区提供一个简单易用、灵活高效、可持续扩展的平台。

目前，OpenRL支持的特性包括：

• 简单易用且支持单智能体、多智能体训练的通用接口
• 支持离线强化学习
• 支持自博弈训练
• 支持自然语言任务（如对话任务）的强化学习训练
• 支持从 Hugging Face 上导入模型和数据
• 支持LSTM，GRU，Transformer等模型
• 支持多种训练加速，例如：自动混合精度训练，半精度策略网络收集数据等
• 支持用户自定义训练模型、奖励模型、训练数据以及环境
• 支持 gymnasium 环境
• 支持字典观测空间
• 支持 wandb，tensorboardX 等主流训练可视化工具
• 支持环境的串行和并行训练，同时保证两种模式下的训练效果一致
• 中英文文档
• 提供单元测试和代码覆盖测试
• 符合Black Code Style和类型检查