MMLU, GSM8K, HumanEval로 모델을 평가하고 웹 서비스로 배포합니다.

SFT, Chat format, REINFORCE로 ChatGPT처럼 대화하는 모델을 만듭니다.

bfloat16, Flash Attention, torch.compile로 훈련 속도를 극대화합니다.

Training loop, LR scheduling, Gradient accumulation, Muon optimizer로 효율적인 훈련을 구현합니다.

Embedding부터 LM Head까지, 완전한 GPT 모델을 PyTorch로 구현합니다.

최신 아키텍처 기법과 메모리 최적화 기술로 더 빠르고 효율적인 모델을 만듭니다.

Q, K, V부터 Multi-head attention, Causal masking까지 Attention 메커니즘의 모든 것을 배웁니다.

BPE 알고리즘부터 Rust 구현까지, 토크나이저의 원리와 실전을 완벽하게 이해합니다.

nanochat 프로젝트로 배우는 LLM 구축 완벽 가이드 - 토크나이저 훈련부터 웹 서빙까지 전체 파이프라인을 직접 구현하며 배웁니다.