SAE Lens와 TensorLens: Feature Interpretability의 시대
뉴런은 해석 불가능하다. Sparse Autoencoder가 모델 내부의 monosemantic feature를 추출하고, TensorLens가 Transformer 전체를 하나의 텐서로 통합 분석하는 최신 interpretability를 정리한다.
SAE Lens와 TensorLens: Feature Interpretability의 시대
지난 두 글에서 우리는:
- Logit/Tuned Lens: 모델의 중간 예측을 읽었고
- Activation Patching: 어떤 activation이 답의 원인인지 추적했다
하지만 여기서 근본적인 문제에 부딪힌다:
관련 포스트
AI Research
TransformerLens 실전: Activation Patching으로 모델 회로를 읽다
TransformerLens로 모델의 내부 activation을 직접 조작하여, 어떤 layer와 head가 답을 만드는 원인인지 추적한다. Activation patching의 원리와 실전 코드를 다룬다.
AI Research
Logit Lens에서 Tuned Lens까지: Transformer의 중간 사고를 읽는 법
LLM의 내부에서는 무슨 일이 벌어지고 있을까? Logit Lens와 Tuned Lens를 통해 Transformer가 layer마다 어떻게 답을 만들어가는지 직접 들여다본다.
AI Research
MiniCPM-o 4.5 한국어 성능도 잘 나올까?
MiniCPM-o 4.5의 한국어 성능을 영어와 나란히 비교 측정했습니다. 이미지 설명, OCR, 문서 추출에서 한국어가 잘 되는 부분과 무너지는 지점, 그리고 프롬프트가 아닌 아키텍처에서 오는 근본 원인을 분석합니다.