Attention, Transformer, BERT, GPT 완벽 마스터

🎯 이런 분들께 추천합니다

• Transformer, BERT, GPT의 내부 작동 원리를 정확히 이해하고 싶은 분
• 논문을 읽어도 실제 구현이 어려운 분
• ChatGPT 같은 LLM의 기반 기술을 배우고 싶은 분
• 실무에서 Transformer 모델을 활용하고 싶은 개발자/연구자

📚 커리큘럼

1. Seq2Seq & Context Vector의 한계

RNN 기반 인코더-디코더 구조를 처음부터 구현하며, 고정 길이 벡터가 가진 근본적인 정보 병목 현상을 BLEU Score로 정량적으로 분석합니다.

• GRU 기반 Encoder/Decoder 구현
• Teacher Forcing 학습 기법
• Context Vector의 정보 손실 실험

2. Attention 메커니즘 완전 정복

Bahdanau Attention과 Luong Attention을 PyTorch로 직접 구현하며, Attention weights를 시각화하여 모델이 어떤 입력에 집중하는지 확인합니다.

• Bahdanau Attention (Additive Attention) 구현
• Luong Attention (Multiplicative Attention) 구현
• Attention Heatmap 시각화로 해석 가능성 향상
• 날짜 형식 변환기 실습 프로젝트

3. Transformer 아키텍처

"Attention is All You Need" 논문의 핵심 개념을 코드로 구현합니다.

• Self-Attention 메커니즘
• Multi-Head Attention 구현
• Positional Encoding
• Feed-Forward Networks
• Layer Normalization & Residual Connections

4. BERT & GPT

사전학습된 모델을 활용한 전이 학습(Transfer Learning)과 Fine-tuning 기법을 실습합니다.

• BERT의 Masked Language Model
• GPT의 Autoregressive Generation
• Hugging Face Transformers 활용
• 텍스트 분류, 감정 분석 실습

✨ 강의 특징

• 코드 중심 학습: 모든 개념을 PyTorch로 직접 구현
• 수식부터 코드까지: 논문 수식과 실제 코드의 연결
• Attention 시각화: Heatmap으로 모델 작동 원리 이해
• 실전 프로젝트: 기계 번역, 날짜 형식 변환, 텍스트 분류 등

💡 블로그 연계 학습

본 강의의 일부 내용은 블로그 포스트로도 제공됩니다. Seq2Seq, Context Vector 분석, Attention 구현 등의 글을 먼저 읽고 강의를 들으면 더 효과적으로 학습할 수 있습니다. 아래 관련 블로그 포스트를 확인해보세요!