1913년 마르코프 체인에서 2026년 추론 모델까지

① 보이지 않는 뿌리: 언어를 ‘계산 가능한 데이터’로 바꾸다 (1913~2013)

오늘날 우리가 매일 마주하는 AI는 어느 날 갑자기 하늘에서 뚝 떨어진 마법이 아닙니다. 1913년 안드레이 마르코프가 푸시킨의 소설 《예브게니 오네긴》의 글자 2만 개를 직접 세어 모음과 자음의 연쇄 확률을 증명한 이래, 클로드 섀넌의 정보이론(1951)과 젤리그 해리스의 분포 가설(1954)이 더해지며 언어는 본격적으로 수학적 계산의 영역으로 들어왔습니다.

이후 1990년대 순환 신경망(Elman Nets, LSTM)과 요수아 벤지오의 신경망 확률 언어 모델(2003), 그리고 단어를 벡터 공간의 방향성(king - man + woman = queen)으로 치환한 구글의 Word2Vec(2013)까지 이어진 100년의 세월은 거대한 기둥을 지탱하는 단단한 뿌리가 되었습니다.

② 거대한 기둥의 형성: 트랜스포머와 ‘스케일링의 마법’ (2017~2020)

흩어져 있던 뿌리들이 하나의 굵은 기둥으로 합쳐진 결정적 사건은 2017년 구글 연구진의 논문 〈Attention Is All You Need〉였습니다. 순환 구조를 걷어내고 문장 내 모든 단어의 관계를 동시에 파악하는 ‘트랜스포머(Transformers)’ 아키텍처의 등장은 GPU 병렬 연산의 잠재력을 폭발시켰습니다.

여기에 다리오 아모데이의 ‘거대 연산 덩어리 가설(2017)’과 재러드 캐플런이 증명한 ‘스케일링 법칙(2020)’이 결합하며 패러다임이 전환됩니다. 정교한 수작업 알고리즘 대신 모델 크기·데이터·연산량이라는 체급을 키우기만 해도 손실(Loss)이 멱법칙에 따라 감소하며 인컨텍스트 러닝(GPT-3) 같은 새로운 능력이 창발한다는 사실이 입증된 것입니다.

③ 5대 생태계로의 분화: 정렬(Alignment), 추론, 그리고 오픈 웨이트 (2021~2026)

2020년대 들어 트랜스포머 기둥은 Google, OpenAI, Anthropic, Open Weights, Encoders라는 다섯 개의 거대한 수관으로 분화했습니다. 인간 피드백 기반 강화학습(RLHF)과 헌법적 AI(Constitutional AI)가 챗봇 대중화의 문을 열었다면, 최근의 경쟁은 o1·o3 및 DeepSeek-R1으로 대표되는 ‘강화학습 기반 장시간 추론’과 ‘정렬 위장(Alignment Faking)’을 둘러싼 안전성 연구로 집약되고 있습니다.

나무의 가장 높은 가지 끝에는 어김없이 물음표(?)가 찍혀 있습니다. 기술의 계보를 읽는 일은 결국, 이 거대한 나무의 다음 방향을 결정할 ‘인간의 판단력’과 ‘신뢰’가 어디에 놓여야 하는지를 확인하는 과정입니다.