← Back to home

Blog

NOTES ON AI SYSTEMS

Ideas, implementation details, and lessons from building AI systems.

10 个异步 RL 框架的 L1、L2、L3 控制机制与严格 staleness 控制对比

PSRL / 012026.10.22

异步 RL 框架的 Staleness，究竟怎么控制（一）？

从 trajectory 的生命周期出发，对照 10 个异步 RL 框架的源码，分析不同框架的三层 staleness 控制机制。