人生苦短，学不完啊
2025
06
11
verl_multinode verl_multinode
分布式环境中使用 verl 进行多节点训练。从启动 Ray 集群到提交训练任务，再到模型合并和解决常见问题。
2025-06-11 RLHF
verl multinode
03
GRPO GRPO
GRPO 通过最大化优势加权的对数概率并正则化 KL 散度，优化模型策略，使生成结果兼顾奖励提升与稳定性控制。
2025-06-03 RLHF
GRPO
05
11
11
docker_mirrors docker_mirrors
通过配置国内 Docker 镜像加速源，可有效解决因网络不稳定或被墙导致的镜像拉取超时、构建失败等问题。
2025-05-11 tool
docker
07
Qwen2.5-VL Qwen2.5-VL
Qwen2.5-VL是Qwen团队新旗舰多模态模型，在视觉理解、文档图表解析、长视频理解及交互代理能力上实现大跃进。
2025-05-07 VLM
Qwen2.5-VL
04
27
CLIP CLIP
CLIP通过对比学习在4亿图文对上预训练，实现视觉与语言的对齐，支持强大的零样本识别能力。
2025-04-27 VLM
CLIP
02
17
ZeRO ZeRO
ZeRO 技术通过分区存储模型状态、梯度和激活值，消除冗余内存占用，降低通信开销，从而实现数十亿到万亿参数大模型的高效训练。
2025-02-17 Distributed
ZeRO
15
ModelParallel ModelParallel
介绍了模型并行（mp）、张量并行（tp）、流水线（pp）并行等并行训练策略，重点讲解了其基本原理、实现方式及代码示例。
2025-02-15 Distributed
ModelParallel
15
DataParallel DataParallel
介绍了数据并行（DP）和分布式数据并行（DDP）策略的原理、流程、实现方法及通信机制，分析了各自的优缺点。
2025-02-15 Distributed
DataParallel
01
06
LoRA LoRA
LoRA（Low-Rank Adaptation）方法，它的优势在于能够有效地进行模型微调，同时大幅度减少所需的训练参数和计算资源。
2025-01-06 LLM
Lora SFT
2024
12
28
TensorRT_install TensorRT_install
通过 tar 文件安装 TensorRT，包括解压文件、设置环境变量、安装 Python 包以及验证安装的步骤。
2024-12-28 Deploy
TensorRT
08
1 / 5