人生苦短，学不完啊
2025
02
17
ZeRO ZeRO
ZeRO 技术通过分区存储模型状态、梯度和激活值，消除冗余内存占用，降低通信开销，从而实现数十亿到万亿参数大模型的高效训练。
2025-02-17 Distributed
ZeRO
15
ModelParallel ModelParallel
介绍了模型并行（mp）、张量并行（tp）、流水线（pp）并行等并行训练策略，重点讲解了其基本原理、实现方式及代码示例。
2025-02-15 Distributed
ModelParallel
15
DataParallel DataParallel
介绍了数据并行（DP）和分布式数据并行（DDP）策略的原理、流程、实现方法及通信机制，分析了各自的优缺点。
2025-02-15 Distributed
DataParallel