AI는 마음을 읽을 수 있을까? LLM의 상식과 인지 실패
Theory of Mind, Physical Common Sense, Working Memory — 텍스트만으로 학습한 LLM이 상식과 인지에서 어디서 실패하는지 실험합니다.
AI는 마음을 읽을 수 있을까? LLM의 상식과 인지 실패
사람은 물건이 떨어지면 아래로 간다는 걸 압니다. 누군가가 방을 나간 사이 물건이 옮겨졌으면, 돌아온 사람이 원래 자리를 찾아볼 거라는 것도 압니다. 어제 배운 내용이 오늘 수정되면, 수정된 버전을 기억해야 한다는 것도요.
이 모든 건 몸으로 세상을 경험하면서 쌓은 지식입니다. LLM은 이런 경험 없이 텍스트만으로 학습합니다. 텍스트에 "공은 아래로 떨어진다"고 쓰여 있으니 그 문장은 알지만, 공을 실제로 떨어뜨려본 적은 없습니다.
이번 글에서는 LLM 추론 실패 시리즈의 세 번째 주제로, 상식과 인지 영역의 세 가지 테스트를 다룹니다.
- Theory of Mind: 다른 사람의 믿음을 추적할 수 있는가
관련 포스트
AI Research
LLM 추론 실패 Part 2: 인지 편향 — 인간의 편향을 물려받다
Anchoring, Order Bias, Sycophancy, Confirmation Bias — RLHF와 편향된 학습 데이터에서 비롯되는 인지 편향을 실험합니다.
AI Research
LLM 추론 실패 Part 1: 구조적 한계 -- 스케일링으로 못 고친다
Reversal Curse, Counting, Compositional Reasoning — Transformer 아키텍처에 뿌리를 둔 구조적 실패를 7개 모델로 실험합니다.
AI Research
LLM이 정말 똑똑할까요? AI의 '추론 실패'를 파헤치다
스탠포드 연구진이 500편 이상의 논문을 분석해 LLM의 추론 실패를 체계적으로 정리했습니다. 인지 편향, 역전의 저주, 합성적 추론 실패 등 AI가 어디서 왜 실패하는지 알아봅니다.