分布式环境中使用 verl 进行多节点训练。从启动 Ray 集群到提交训练任务，再到模型合并和解决常见问题。
2025-06-11
GRPO
GRPO 通过最大化优势加权的对数概率并正则化 KL 散度，优化模型策略，使生成结果兼顾奖励提升与稳定性控制。
2025-06-03
nvidia_container_toolkit
通过配置 nvidia-container-toolkit，让 Docker 容器可以访问宿主机的 GPU，实现深度学习等计算任务加速。
2025-05-11
docker_mirrors
通过配置国内 Docker 镜像加速源，可有效解决因网络不稳定或被墙导致的镜像拉取超时、构建失败等问题。
2025-05-11
Qwen2.5-VL
Qwen2.5-VL是Qwen团队新旗舰多模态模型，在视觉理解、文档图表解析、长视频理解及交互代理能力上实现大跃进。
2025-05-07
CLIP
CLIP通过对比学习在4亿图文对上预训练，实现视觉与语言的对齐，支持强大的零样本识别能力。
2025-04-27
ZeRO
ZeRO 技术通过分区存储模型状态、梯度和激活值，消除冗余内存占用，降低通信开销，从而实现数十亿到万亿参数大模型的高效训练。
2025-02-17
ModelParallel
介绍了模型并行（mp）、张量并行（tp）、流水线（pp）并行等并行训练策略，重点讲解了其基本原理、实现方式及代码示例。
2025-02-15
DataParallel
介绍了数据并行（DP）和分布式数据并行（DDP）策略的原理、流程、实现方法及通信机制，分析了各自的优缺点。
2025-02-15
LoRA
LoRA（Low-Rank Adaptation）方法，它的优势在于能够有效地进行模型微调，同时大幅度减少所需的训练参数和计算资源。
2025-01-06
TensorRT_install
通过 tar 文件安装 TensorRT，包括解压文件、设置环境变量、安装 Python 包以及验证安装的步骤。
2024-12-28
lidar2camera
相机和激光雷达联合标定是将两者数据对齐到统一坐标系的过程，涉及坐标系转换、内外参求解、畸变校正和优化。
2024-12-08