멀티 GPU 활용하기: 대규모 모델 훈련 가속화
고급4주 (Self-paced)
Distributed Data Parallel (DDP), Fully Sharded Data Parallel (FSDP), DeepSpeed를 활용해 여러 GPU에서 효율적으로 모델을 훈련하는 방법을 배웁니다.
Tags
#Multi-GPU#DDP#FSDP#DeepSpeed#Distributed Training#PyTorch
대규모 모델 훈련을 위한 멀티 GPU 활용 방법을 배웁니다. PyTorch DDP부터 FSDP, DeepSpeed까지 다양한 분산 훈련 기법을 실습합니다.