模型基础算法（Model-Based）¶

模型基础强化学习通过学习环境的动态模型（转移函数和奖励函数）来辅助策略学习。智能体可以在学到的模型中"想象"经验，从而大幅提升采样效率。本页涵盖三大方向：基于模型的策略优化、世界模型方法和树搜索与规划方法。

基于模型的策略优化¶

这类方法学习一个环境模型，并使用该模型生成模拟数据来辅助无模型算法的训练。

PETS¶

Probabilistic Ensemble Trajectory Sampling（概率集成轨迹采样）

使用集成的概率神经网络来建模环境动态，通过 CEM（交叉熵方法）在模型中进行在线规划来选择动作。

Chua et al., "Deep Reinforcement Learning in a Handful of Trials using Probabilistic Dynamics Models", 2018. arXiv:1805.12114

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: pets
algo_kwargs:
  learning_rate: 1e-3
  n_ensemble: 5
  planning_horizon: 25
  n_candidates: 500
  n_elites: 50
  cem_iterations: 5
  model_hidden_size: 200
  model_train_freq: 250

Python API 示例¶

from rl_training.experimental import PETS

model = PETS(
    env_id="Pusher-v4",
    n_ensemble=5,
    planning_horizon=25,
    n_candidates=500,
)
model.train(total_timesteps=50_000)

MBPO¶

Model-Based Policy Optimization（基于模型的策略优化）

在真实数据上训练环境模型，然后用模型生成短轨迹来扩充 SAC 的回放缓冲区，以可控的方式利用模型数据。

Janner et al., "When to Trust Your Model: Model-Based Policy Optimization", 2019. arXiv:1906.08253

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: mbpo
algo_kwargs:
  learning_rate: 3e-4
  model_learning_rate: 1e-3
  buffer_size: 1_000_000
  batch_size: 256
  n_ensemble: 7
  n_elites: 5
  rollout_length: 1
  real_ratio: 0.05
  model_train_freq: 250

Python API 示例¶

from rl_training.experimental import MBPO

model = MBPO(
    env_id="HalfCheetah-v4",
    n_ensemble=7,
    rollout_length=1,
    real_ratio=0.05,
)
model.train(total_timesteps=200_000)

MOPO¶

Model-based Offline Policy Optimization（基于模型的离线策略优化）

在离线 RL 中使用学到的模型，通过在奖励中减去模型不确定性来惩罚不确定的状态-动作对，实现保守的模型利用。

Yu et al., "MOPO: Model-based Offline Policy Optimization", 2020. arXiv:2005.13239

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: mopo
algo_kwargs:
  learning_rate: 3e-4
  model_learning_rate: 1e-3
  batch_size: 256
  n_ensemble: 7
  penalty_coef: 1.0
  rollout_length: 5
  dataset_path: "data/hopper_medium.npz"

Python API 示例¶

from rl_training.experimental import MOPO

model = MOPO(
    env_id="Hopper-v4",
    dataset_path="data/hopper_medium.npz",
    penalty_coef=1.0,
    rollout_length=5,
)
model.train(total_timesteps=500_000)

World Models（世界模型）¶

世界模型方法学习一个紧凑的环境动态模型，在潜在空间中进行想象和规划，能够处理高维观测（如像素输入）。

Dreamer¶

Dreamer

在学到的潜在空间世界模型中通过想象（imagination）进行策略优化，实现了高维像素观测下的高效学习。

Hafner et al., "Dream to Control: Learning Behaviors by Latent Imagination", 2019. arXiv:1912.01603

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: dreamer
algo_kwargs:
  learning_rate: 6e-4
  actor_lr: 8e-5
  critic_lr: 8e-5
  batch_size: 50
  sequence_length: 50
  imagination_horizon: 15
  stoch_size: 30
  deter_size: 200
  free_nats: 3.0

Python API 示例¶

from rl_training.experimental import Dreamer

model = Dreamer(
    env_id="dm_control/walker-walk",
    imagination_horizon=15,
    stoch_size=30,
    deter_size=200,
)
model.train(total_timesteps=1_000_000)

DreamerV3¶

DreamerV3

Dreamer 的第三个版本，通过 symlog 预测、离散化潜在空间和多项工程改进，实现了无需超参数调优的通用世界模型。

Hafner et al., "Mastering Diverse Domains through World Models", 2023. arXiv:2301.04104

稳定性： Experimental   动作空间： Discrete + Continuous

关键超参数¶

YAML 配置示例¶

algorithm: dreamerv3
algo_kwargs:
  model_lr: 1e-4
  actor_lr: 3e-5
  critic_lr: 3e-5
  batch_size: 16
  sequence_length: 64
  imagination_horizon: 15
  model_size: "medium"

Python API 示例¶

from rl_training.experimental import DreamerV3

model = DreamerV3(
    env_id="Minecraft-diamond",
    model_size="large",
    imagination_horizon=15,
)
model.train(total_timesteps=100_000_000)

EADream¶

EADream（Energy-Aware Dreamer）

在 Dreamer 框架中引入能量模型来改善潜在空间的表示质量，增强世界模型的预测准确性。

基于 Dreamer 架构与能量模型的集成。

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: eadream
algo_kwargs:
  model_lr: 3e-4
  actor_lr: 8e-5
  critic_lr: 8e-5
  batch_size: 50
  imagination_horizon: 15
  energy_coef: 0.1
  ebm_hidden_size: 256

Python API 示例¶

from rl_training.experimental import EADream

model = EADream(
    env_id="dm_control/cheetah-run",
    imagination_horizon=15,
    energy_coef=0.1,
)
model.train(total_timesteps=1_000_000)

PO-Dreamer¶

PO-Dreamer（Partially Observable Dreamer）

针对部分可观测环境优化的 Dreamer 变体，增强了对历史信息的编码能力和对观测缺失的鲁棒性。

基于 Dreamer 的部分可观测扩展。

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: po_dreamer
algo_kwargs:
  model_lr: 6e-4
  actor_lr: 8e-5
  critic_lr: 8e-5
  batch_size: 50
  sequence_length: 50
  imagination_horizon: 15
  belief_hidden_size: 400
  obs_dropout: 0.1

Python API 示例¶

from rl_training.experimental import PODreamer

model = PODreamer(
    env_id="FlickeringCheetah-v0",
    imagination_horizon=15,
    belief_hidden_size=400,
)
model.train(total_timesteps=2_000_000)

树搜索与规划¶

结合学到的模型与树搜索（如 MCTS）进行规划，在离散决策空间中表现出色。

MuZero¶

MuZero

在无需已知环境规则的情况下，通过学习的隐式模型结合 MCTS 进行规划。在 Atari 和棋类游戏上取得超人表现。

Schrittwieser et al., "Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model", 2019. arXiv:1911.08265

稳定性： Experimental   动作空间： Discrete

关键超参数¶

YAML 配置示例¶

algorithm: muzero
algo_kwargs:
  learning_rate: 3e-3
  batch_size: 1024
  gamma: 0.997
  num_simulations: 50
  unroll_steps: 5
  td_steps: 5
  num_actors: 128
  dirichlet_alpha: 0.25

Python API 示例¶

from rl_training.experimental import MuZero

model = MuZero(
    env_id="Breakout-v5",
    num_simulations=50,
    unroll_steps=5,
    num_actors=128,
)
model.train(total_timesteps=100_000_000)

EfficientZero¶

EfficientZero

在 MuZero 基础上引入自监督一致性损失和模型的临时差分值预测，在 Atari 100k 基准上以极少的数据量达到超人水平。

Ye et al., "Mastering Atari Games with Limited Data", 2021. arXiv:2111.00210

稳定性： Experimental   动作空间： Discrete

关键超参数¶

YAML 配置示例¶

algorithm: efficientzero
algo_kwargs:
  learning_rate: 3e-3
  batch_size: 256
  gamma: 0.997
  num_simulations: 50
  unroll_steps: 5
  consistency_coef: 2.0
  num_actors: 8

Python API 示例¶

from rl_training.experimental import EfficientZero

model = EfficientZero(
    env_id="Pong-v5",
    num_simulations=50,
    consistency_coef=2.0,
)
model.train(total_timesteps=100_000)

ScaleZero¶

ScaleZero

对 MuZero 进行规模化改进，通过更大的网络和更多的计算资源来提升模型的表示和规划能力。

基于 MuZero 的大规模扩展实现。

稳定性： Experimental   动作空间： Discrete

关键超参数¶

YAML 配置示例¶

algorithm: scalezero
algo_kwargs:
  learning_rate: 1e-3
  batch_size: 2048
  gamma: 0.997
  num_simulations: 100
  model_size: "large"
  num_actors: 256

Python API 示例¶

from rl_training.experimental import ScaleZero

model = ScaleZero(
    env_id="Breakout-v5",
    num_simulations=100,
    model_size="large",
    num_actors=256,
)
model.train(total_timesteps=200_000_000)

Gumbel MuZero¶

Gumbel MuZero

使用 Gumbel 技巧替代传统的 PUCT 搜索，在 MCTS 中实现更高效的策略改进，尤其在低模拟次数下表现更优。

Danihelka et al., "Policy improvement by planning with Gumbel", 2021. arXiv:2104.06303

稳定性： Experimental   动作空间： Discrete

关键超参数¶

YAML 配置示例¶

algorithm: gumbel_muzero
algo_kwargs:
  learning_rate: 3e-3
  batch_size: 1024
  gamma: 0.997
  num_simulations: 16
  unroll_steps: 5
  max_num_considered_actions: 16

Python API 示例¶

from rl_training.experimental import GumbelMuZero

model = GumbelMuZero(
    env_id="Go-9x9",
    num_simulations=16,
    max_num_considered_actions=16,
)
model.train(total_timesteps=50_000_000)

其他模型基础方法¶

DIAMOND¶

DIAMOND（Diffusion for World Modeling）

使用扩散模型作为世界模型来生成逼真的环境模拟，能够产生高质量的像素级环境预测。

Alonso et al., "Diffusion for World Modeling: Visual Details Matter in Atari", 2024. arXiv:2405.12399

稳定性： Experimental   动作空间： Discrete

关键超参数¶

YAML 配置示例¶

algorithm: diamond
algo_kwargs:
  learning_rate: 1e-4
  actor_lr: 3e-4
  batch_size: 64
  diffusion_steps: 10
  noise_schedule: "cosine"
  imagination_horizon: 50
  context_frames: 4

Python API 示例¶

from rl_training.experimental import DIAMOND

model = DIAMOND(
    env_id="Breakout-v5",
    diffusion_steps=10,
    imagination_horizon=50,
)
model.train(total_timesteps=10_000_000)

Horizon Imagination¶

Horizon Imagination（水平想象）

通过可控的想象水平（horizon）来平衡世界模型的使用程度，在不同复杂度的任务中自适应调整。

基于自适应水平想象的世界模型方法。

稳定性： Experimental   动作空间： Discrete

关键超参数¶

YAML 配置示例¶

algorithm: horizon_imagination
algo_kwargs:
  model_lr: 3e-4
  actor_lr: 1e-4
  batch_size: 128
  min_horizon: 1
  max_horizon: 20
  horizon_schedule: "adaptive"

Python API 示例¶

from rl_training.experimental import HorizonImagination

model = HorizonImagination(
    env_id="Seaquest-v5",
    min_horizon=1,
    max_horizon=20,
)
model.train(total_timesteps=5_000_000)

JOWA¶

JOWA（Joint World-Action Model）

联合学习世界模型和动作模型，通过共享表示来提升两者的学习效率。

基于联合世界-动作建模的方法。

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: jowa
algo_kwargs:
  model_lr: 3e-4
  actor_lr: 1e-4
  batch_size: 256
  imagination_horizon: 10
  joint_coef: 0.5

Python API 示例¶

from rl_training.experimental import JOWA

model = JOWA(
    env_id="Walker2d-v4",
    imagination_horizon=10,
    joint_coef=0.5,
)
model.train(total_timesteps=500_000)

MOW¶

MOW（Model of the World）

使用大规模神经网络来构建通用世界模型，旨在学习可迁移的环境理解能力。

基于大规模通用世界模型的方法。

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: mow
algo_kwargs:
  model_lr: 1e-4
  actor_lr: 3e-5
  batch_size: 128
  model_size: "medium"
  imagination_horizon: 15
  pretrained_model: null

Python API 示例¶

from rl_training.experimental import MOW

model = MOW(
    env_id="dm_control/humanoid-walk",
    model_size="medium",
    imagination_horizon=15,
)
model.train(total_timesteps=2_000_000)

Twisted¶

Twisted

使用扭曲（twisted）目标函数来改善世界模型中策略学习的质量，通过修正想象轨迹的分布来减少模型偏差。

基于扭曲目标函数的世界模型方法。

稳定性： Experimental   动作空间： Discrete

关键超参数¶

YAML 配置示例¶

algorithm: twisted
algo_kwargs:
  model_lr: 3e-4
  actor_lr: 1e-4
  batch_size: 128
  twist_coef: 1.0
  imagination_horizon: 10
  n_particles: 16

Python API 示例¶

from rl_training.experimental import Twisted

model = Twisted(
    env_id="MsPacman-v5",
    twist_coef=1.0,
    imagination_horizon=10,
)
model.train(total_timesteps=5_000_000)

目标条件方法¶

HER¶

Hindsight Experience Replay（事后经验回放）

通过在回放时将失败轨迹的实际到达状态替换为目标，将失败经验转化为成功经验。是解决稀疏奖励目标条件任务的关键技术。

Andrychowicz et al., "Hindsight Experience Replay", 2017. arXiv:1707.01495

稳定性： Experimental   动作空间： Continuous

关键超参数¶

YAML 配置示例¶

algorithm: her
algo_kwargs:
  learning_rate: 1e-3
  buffer_size: 1_000_000
  batch_size: 256
  gamma: 0.98
  strategy: "future"
  n_sampled_goal: 4
  base_algorithm: "sac"

Python API 示例¶

from rl_training.experimental import HER

model = HER(
    env_id="FetchReach-v2",
    strategy="future",
    n_sampled_goal=4,
    base_algorithm="sac",
)
model.train(total_timesteps=1_000_000)