Models & Algorithms
10 posts in this category
SANA: O(n²)→O(n) Linear Attention으로 1024² 이미지 0.6초 생성
Self-Attention의 quadratic 복잡도 문제를 Linear Attention이 어떻게 해결했는지. DiT 대비 100배 빠른 생성의 비밀.
PixArt-α: Stable Diffusion 학습비용 $600K를 $26K로 줄인 방법
분해 학습(Decomposed Training)으로 T2I 학습 효율을 23배 높인 비결. 학술 연구자도 접근 가능한 Text-to-Image 모델 만들기.
DiT: U-Net 버리고 Transformer 쓰니까 Scaling Law가 적용됐다 (Sora 기반기술)
U-Net은 크기 키워도 성능 향상이 수확체감. DiT는 모델이 클수록 일관되게 좋아집니다. Sora의 기반이 된 아키텍처 완전 분석.
512×512에서 1024×1024로: Latent Diffusion이 해상도 한계를 깬 방법
픽셀 공간 diffusion의 메모리 폭발 문제를 Latent Space가 어떻게 해결했는지. VAE 압축부터 Stable Diffusion 구조까지 완전 분석.
DDIM으로 Diffusion 20배 빠르게: 품질 손실 없이 1000→50 스텝
DDPM pretrained 모델 그대로 쓰면서 샘플링만 20배 빠르게. 확률적→결정론적 변환의 수학적 원리와 eta 파라미터 튜닝 가이드.
DDPM 수식 완전 정복: Forward/Reverse Process 직접 유도하기
GAN의 mode collapse 없이 안정적으로 고품질 이미지를 생성하는 DDPM. β schedule부터 loss 함수까지 수식을 하나씩 유도하며 이해합니다.
긴 문장 번역이 망가지는 이유: Context Vector 병목 현상 완전 분석
문장이 40단어만 넘어도 BLEU가 절반으로 떨어지는 현상. 정보 이론과 gradient flow 관점에서 원인을 파헤치고 Attention이 필요한 이유를 증명합니다.
Attention 구현할 때 Bahdanau vs Luong, 뭘 써야 하나? (결론: Luong)
additive vs multiplicative 방식의 성능/속도 차이를 실험으로 비교. 실무에서는 왜 Luong을 더 많이 쓰는지 코드로 확인합니다.
직접 구현하며 이해하는 Seq2Seq: 가변 길이 입출력 문제를 해결한 첫 번째 방법
고정 크기 입출력만 가능했던 신경망의 한계를 Encoder-Decoder가 어떻게 해결했는지, 수학적 원리부터 PyTorch 구현까지.
AdamW vs Lion: GPU 메모리 33% 절약하면서 성능은 유지하는 방법
Lion optimizer가 AdamW보다 메모리를 33% 아끼는 원리와 실제 적용 시 주의해야 할 하이퍼파라미터 튜닝 가이드. 잘못 쓰면 오히려 손해입니다.