verl_multinode 分布式环境中使用 verl 进行多节点训练。从启动 Ray 集群到提交训练任务,再到模型合并和解决常见问题。 2025-06-11 RLHF verl multinode GRPO GRPO 通过最大化优势加权的对数概率并正则化 KL 散度,优化模型策略,使生成结果兼顾奖励提升与稳定性控制。 2025-06-03 RLHF GRPO