Logit Lens에서 Tuned Lens까지: Transformer의 중간 사고를 읽는 법
LLM의 내부에서는 무슨 일이 벌어지고 있을까? Logit Lens와 Tuned Lens를 통해 Transformer가 layer마다 어떻게 답을 만들어가는지 직접 들여다본다.
Logit Lens에서 Tuned Lens까지: Transformer의 중간 사고를 읽는 법
대형 언어 모델(LLM)에게 "프랑스의 수도는?"이라고 물으면 "파리"라고 답한다.
하지만 이 답은 어디서 만들어진 것일까? 첫 번째 layer에서? 마지막 layer에서? 아니면 중간 어딘가에서 서서히 형성된 것일까?
Mechanistic interpretability의 핵심 도구인 Lens 계열은 바로 이 질문에 답한다. 모델의 중간 hidden state를 사람이 읽을 수 있는 형태로 "투영"하여, layer마다 모델이 무엇을 생각하고 있는지 직접 관찰하는 것이다.
이 글에서는 가장 단순한 Logit Lens부터 학습 기반의 Tuned Lens까지, Transformer 내부를 읽는 방법의 발전 과정을 정리한다.
관련 포스트
SAE Lens와 TensorLens: Feature Interpretability의 시대
뉴런은 해석 불가능하다. Sparse Autoencoder가 모델 내부의 monosemantic feature를 추출하고, TensorLens가 Transformer 전체를 하나의 텐서로 통합 분석하는 최신 interpretability를 정리한다.
TransformerLens 실전: Activation Patching으로 모델 회로를 읽다
TransformerLens로 모델의 내부 activation을 직접 조작하여, 어떤 layer와 head가 답을 만드는 원인인지 추적한다. Activation patching의 원리와 실전 코드를 다룬다.
MiniCPM-o 4.5 한국어 성능도 잘 나올까?
MiniCPM-o 4.5의 한국어 성능을 영어와 나란히 비교 측정했습니다. 이미지 설명, OCR, 문서 추출에서 한국어가 잘 되는 부분과 무너지는 지점, 그리고 프롬프트가 아닌 아키텍처에서 오는 근본 원인을 분석합니다.