分布式环境中使用 verl 进行多节点训练。从启动 Ray 集群到提交训练任务，再到模型合并和解决常见问题。
2025-06-11
GRPO
GRPO 通过最大化优势加权的对数概率并正则化 KL 散度，优化模型策略，使生成结果兼顾奖励提升与稳定性控制。
2025-06-03