LLM이 정말 똑똑할까요? AI의 '추론 실패'를 파헤치다
스탠포드 연구진이 500편 이상의 논문을 분석해 LLM의 추론 실패를 체계적으로 정리했습니다. 인지 편향, 역전의 저주, 합성적 추론 실패 등 AI가 어디서 왜 실패하는지 알아봅니다.
LLM이 정말 똑똑할까요? AI 추론 실패 완전 가이드
ChatGPT나 Claude 같은 대규모 언어 모델(LLM)은 복잡한 코드를 짜고, 시를 쓰며, 철학적인 대화도 나눕니다. 하지만 가끔 아주 간단한 문제에서 엉뚱한 대답을 내놓아 당황하게 만들기도 합니다.
"왜 이렇게 똑똑한 AI가 이런 기본적인 실수를 할까?"
스탠포드 대학교의 Song, Han, Goodman이 발표한 서베이 논문 "Large Language Model Reasoning Failures"(TMLR 2026)는 LLM이 어디서, 왜 실패하는지를 체계적으로 정리한 최초의 분류 체계입니다. 500편 이상의 연구를 분석해 수십 가지 실패 유형을 추론 유형별, 실패 성격별로 매핑합니다.
이 글에서는 논문의 프레임워크와 핵심 발견을 소개합니다. 논문의 분류 체계에 영감을 받아 10가지 실험을 직접 설계하고 7개 최신 모델로 재현해봤습니다. 실험의 상세 결과는 Part 1-3에서 다루고, 이 글은 전체 개요입니다.
관련 포스트
AI는 마음을 읽을 수 있을까? LLM의 상식과 인지 실패
Theory of Mind, Physical Common Sense, Working Memory — 텍스트만으로 학습한 LLM이 상식과 인지에서 어디서 실패하는지 실험합니다.
LLM 추론 실패 Part 2: 인지 편향 — 인간의 편향을 물려받다
Anchoring, Order Bias, Sycophancy, Confirmation Bias — RLHF와 편향된 학습 데이터에서 비롯되는 인지 편향을 실험합니다.
LLM 추론 실패 Part 1: 구조적 한계 -- 스케일링으로 못 고친다
Reversal Curse, Counting, Compositional Reasoning — Transformer 아키텍처에 뿌리를 둔 구조적 실패를 7개 모델로 실험합니다.