人生苦短，学不完啊
  文章分类
Deploy 1 algorithm 6 Hexo tips 1 VLM 2 python 3 Linux 5 SensorsCalibration 1 端到端自动驾驶 2 RLHF 2 LLM 1 Distributed 3 Deep Learning 1 tool 9 2D目标检测 3 3D目标检测 18 注意力 2 目标跟踪 2
ZeRO ZeRO
ZeRO 技术通过分区存储模型状态、梯度和激活值，消除冗余内存占用，降低通信开销，从而实现数十亿到万亿参数大模型的高效训练。
2025-02-17 Distributed
ZeRO
ModelParallel ModelParallel
介绍了模型并行（mp）、张量并行（tp）、流水线（pp）并行等并行训练策略，重点讲解了其基本原理、实现方式及代码示例。
2025-02-15 Distributed
ModelParallel
DataParallel DataParallel
介绍了数据并行（DP）和分布式数据并行（DDP）策略的原理、流程、实现方法及通信机制，分析了各自的优缺点。
2025-02-15 Distributed
DataParallel