계속 쏟아지고 있는 AI 논문들을 보다보면, 스케일링 법칙이 여전히 유효한가? 라는 궁금증이 듭니다. 수년간 전 세계 AI 업계를 지배한 절대적인 믿음은 스케일링 법칙(Scaling Law)이었죠.
“더 많은 데이터, 더 거대한 파라미터, 더 압도적 연산량을 무식하게 쏟아부으면 AI 지능은 무조건 상승한다”
이 ‘규모의 경제’는 확실히 작동했습니다. 이 법칙은 여전히 유효하며, AI의 체급을 키워 AGI에 닿으려는 인류의 도전은 결코 멈추지 않을 것입니다.
하지만 어떻게 보면 무식한 이 덩치 키우기는 물리 법칙과 자원의 한계라는 거대한 암초, 전력이라는 장벽에 부딪히고 있습니다. 단일 데이터센터를 짓는 데 수조 원이 깨지고, 도시 하나가 사용하는 전력을 통째로 삼키며, 냉각수조차 필요 없는 우주 궤도 데이터센터나 SMR 구축이 진지하게 논의되는 작금의 현실은 무엇을 의미할까요? 스케일링 자체의 실패라기 보다는 과거 방식의 물리적 스케일링은 더 이상 지속 불가능함을 시사한다고 봅니다.
과거 두 차례의 혹독했던 AI 겨울은 언제나 알고리즘의 한계와 컴퓨팅 파워의 부재라는 거대한 벽 앞에서 시작되었습니다. 비용은 기하급수적으로 폭증하는데 지능의 발전 속도는 둔화하는 일조의 수확 체감의 공포 앞에서, 시장은 제3차 AI 겨울이 도래하는 것 아니냐는 비관론도 계속 고개를 들고 있습니다.
1940년대를 돌아보죠. 1만 8천 개의 진공관으로 이루어진 에니악(ENIAC)은 방 전체를 펄펄 끓게 만들며 엄청난 전력을 소모했습니다. 만약 당시 과학자들이 계산 능력을 높이기 위해 진공관의 개수만 무작정 늘리는 단순 스케일링에만 집착했다면, 도시는 전력난으로 붕괴했을 것이고 우리는 결코 주머니 속 스마트폰 시대를 맞이할 수 없었을 것입니다. 인류는 거대한 진공관을 버리고, 작고 차가우며 압도적으로 효율적인 트랜지스터(반도체 집적회로)를 발명함으로써 스케일링의 한계를 돌파했습니다.
현재의 AI 생태계가 바로 이 진공관에서 트랜지스터로 넘어가는 특이점을 지나고 있지 않을까 생각합니다. 스케일링을 포기하는 것이 아니라, 스케일링을 지속 가능하게 만들기 위해, 전력과 자원 소모를 극단적으로 줄이는 초정밀 집적회로(IC)의 시대로 진입하고 있는 것입니다/
1. 아키텍처의 진화, 밀집(Dense)의 낭비에서 하이브리드 희소(Sparse)뇌의 완성으로
LLM을 지배한 아키텍처는 원래 밀집(Dense) 구조였죠. 모델이 단어 하나를 뱉어낼 때마다 수백억, 수천억 개에 달하는 파라미터 전체에 고압 전기를 공급하는 방식이었습니다. 비유하자면 손가락 하나를 까딱하기 위해 온몸의 근육에 힘을 주는 격이며, 서울시 전체의 야경을 보기 위해 빈집의 불까지 모두 켜두는 끔찍한 에너지 낭비였죠,
이 전력 낭비를 해결하기 위해 가장 완벽한 효율인 ‘인간의 생물학적 뇌’를 모방하기 시작했습니다. 평소 20W 남짓한 전력만 소모하며 사고의 종류에 따라 필요한 시냅스만 활성화하는 방식을 차용하여 희소(Sparse) 모델, 즉 전문가 혼합(MoE) 아키텍처를 도입한 것입니다.
물론 스파스 모델도 단점도 있었습니다. 전력 대비 성능은 혁신적으로 개선되었지만, 전기를 아끼기 위해 뇌를 기계적으로 쪼개어 쓰다 보니, 전체 문맥의 큰 흐름을 잃어버리는 현상이 발생했습니다. 지식은 파편화되었고, 특정 질문에 특정 전문가 모델만 과도하게 혹사당하는 라우팅 붕괴(Routing Collapse)도 일어났습니다. 업계에서는 “스파스 모델은 효율적이고, 전기는 덜 먹지만, 덴스 모델 특유의 묵직하고 깊은 통찰력은 결여되어 있다”며 평가절하하기도 했죠.
그러다가, 최근 딥시크(DeepSeek) V3/R1 등을 필두로 한 프론티어 아키텍처는 이 단점을 생물학적이고 구조적인 방식으로 해결해내고 있습니다. 문법, 논리, 범용 상식 등 언어의 뼈대를 담당하는 공유 전문가(Shared Expert)개념을 도입해 전두엽처럼 항상 켜두어 맥락 유지의 안정성을 확보하는 동시에 고도의 전문 지식은 수백, 수천 개로 아주 잘게 쪼갠 초미세 전문가(Fine-grained Experts)에 분산시켰습니다. 문맥에 따라 필요한 지식만 핀셋으로 정확히 집어내듯 활성화하는 스마트 스위칭 기술을 완성한 겁니다. 현재 나름 완성형에 다다른 스파스 모델은 덴스 모델을 능가하는 고도의 수학적·논리적 추론력을 발휘합니다. 스케일링의 규모는 키우면서도, 실제 연산 시 활성화되는 파라미터는 전체의 10% 미만으로 억제하여 스케일링과 전력 효율이라는 두 마리 토끼를 잡아내고 있습니다.
2. 기억 장치의 다층화, 무한 컨텍스트 병목의 해결
AI가 인간처럼 깊은 대화를 나누고 방대한 문서를 분석하기 위해서는 맥락(Context)을 기억해야 합니다. 기존의 방식은 한 번에 읽어 들이는 정보량(Context Window)을 100만, 200만 토큰으로 맹목적으로 늘리는 단순 스케일링이었습니다. 특히 구글이 이런 전략을 펼쳤습니다.
하지만 트랜스포머 아키텍처의 구조적 한계상, 입력 길이가 길어질수록 연산량과 메모리 요구량은 기하급수적으로 폭증합니다. 대화를 한 마디 나눌 때마다 백과사전을 1페이지부터 끝까지 처음부터 다시 읽고 연산해야 하는 끔찍한 병목 현상을 낳았습니다. 또한, 임시 계산 결과를 저장하는 초고속 메모리인 KV Cache가 순식간에 고갈되어 GPU 서버를 마비시키기도 했습니다. 그래서 인류는 인간의 뇌가 단기·중기·장기 기억을 처리하는 방식에서 영감을 얻어, 메모리의 다층 레이어화와 중첩 학습(Nested Learning)같은 기술적 해답을 내놓았습니다.
1) 단기 기억 (Working Memory): 초고속 반응의 전초기지
당장 눈앞에서 벌어지는 대화 흐름이나 최신 정보 수십 문장, 즉 가장 활발하게 쓰이는 정보만을 초고속 메모리(KV Cache)에 올려 즉각적이고 민첩하게 반응하도록 제한합니다. 인간의 작업 기억(Working Memory)과 같이 가장 비싼 자원을 가장 효율적으로 사용하는 제1레이어입니다. Deepseek 의 engram 같은 사례가 유사합니다.
2) 중기 기억 (Episodic Memory): 중첩 학습(Nested Learning)과 CMS
구글은 무식한 윈도우 확장을 멈추고, 학습 알고리즘 자체를 계층화한 Nested Learning(중첩 학습)을 도입했습니다. 모델 내부에 서로 다른 속도로 업데이트되는 여러 개의 최적화 루프를 배치하고, 빠른 루프는 실시간 대화 맥락을 즉시 지능에 반영하고, 느린 루프는 그중 반복되는 중요한 정보만을 골라내어 지식으로 굳힙니다.
CMS (Continuum Memory System)는 이 중첩된 루프 사이에서 정보는 맘바(Mamba)와 같은 상태 공간 모델(SSM)을 통해 고도로 압축된 수학적 상태 벡터(State)로 치환됩니다. 정보를 원문 그대로 들고 있지 않고도 ‘기억의 인상’만을 유지하며 메모리 점유율을 10분의 1 이하로 낮추는 혁신을 이뤘습니다.
3) 장기 기억 (Semantic Memory): 에이전틱 AI와 로컬 기억 주권
변하지 않는 방대한 지식은 AI의 파라미터에 전기를 태워가며 억지로 구워 넣지 않고, 그 대신 외부의 거대한 벡터 DB나 지식 그래프로 분리하여 필요할 때만 검색(RAG)해 옵니다.
에이전틱 AI(Agentic AI)의 자율 운용도 중요해지는데요, 에이전트가 사용자의 질문을 분석해, 어떤 정보를 ‘단기 기억’에서 처리하고 어떤 정보를 ‘장기 기억’ 저장소에서 인출할지 스스로 판단하는 자율적 메모리 오케스트레이션 능력으로 이동했습니다.
특히 OpenClaw 같은 프로젝트는 이 장기 기억을 클라우드가 아닌 사용자의 로컬 기기에 Markdown이나 벡터 형태로 영구 저장해서, 개인의 맥락을 완벽히 보존하면서도 빅테크의 서버 의존도를 낮추는 기억의 주권을 완성시키기도 했습니다.
무식하게 파라미터 덩치를 키우는 대신, 중첩 학습(Nested Learning)으로 지능의 깊이를 더하고 에이전틱 AI가 OpenClaw 같은 로컬 저장소와 협업하게 함으로써, 전력망을 무너뜨리지 않고도 무한한 기억력을 가진 극단적 효율의 지능을 달성하고 있는겁니다.
3. 제어의 진화, 주입식 암기에서 잠재 공간(Latent Space)의 초정밀 조향으로
예전에는 AI가 특정 분야(수학 공식, 코딩 문법, 특정 도메인 지식 등)의 태스크를 잘 수행하지 못하면, 수십억 개의 뇌세포 전체의 가중치를 갈아엎는 파인튜닝(SFT, Supervised Fine-Tuning)을 시도했었죠. 지식을 강제로 주입하기 위해 수많은 GPU를 갈아넣어 뇌를 뜯어고치는 이러한 훈련 패러다임 역시 지속 불가능했습니다.
이 물리적 한계 앞에서 학계는 놀라운 사실을 발견합니다. 거대 모델은 이미 방대한 사전 학습 과정을 통해 세상의 모든 지식과 논리를 잠재 공간(Latent Space)이라는 수천, 수만 차원의 다차원 우주에 완벽하게 Mapping해 두었다는 점입니다. AI는 몰라서 대답을 못 하는 것이 아니라, 그 광활한 우주 안에서 정답이 있는 좌표를 찾지 못해 헤매고 있을 뿐이었다는 겁니다.
2026년 2월4일, Meta 가 발표한 <Learning to Reason in 13 Parameters> 에서는 LLM의 추론 능력을 끌어올리기 위해, 뇌 전체를 뜯어고치는 방식 대신, 문자 메시지 하나 용량도 안 되는 단 13개의 파라미터(고작 26바이트)만을 강화학습으로 미세하게 조정했습니다. Qwen-2.5 8B 모델을 기준으로, 단 13개의 스칼라 파라미터(Scaling Factor), 용량으로 치면 고작 26바이트만 학습시켜 GSM8K와 같은 복잡한 수학 추론 벤치마크에서 91%라는 SOTA급 성능을 달성했습니다.
<Learning to Reason in 13 Parameters (by META)>
https://www.facebook.com/share/p/1CU5yKoCfL
거대한 잠재 공간 안에서 이미 AI가 알고 있는 정답이 위치한 방향으로, 나침반의 바늘을 단 1도만 틀어준 것(Steering)입니다. 이 조향만으로 수학 추론 정확도는 폭발적으로 상승했습니다. 이제 AI 최적화는 뇌를 무너뜨리고 다시 짓는 무식한 토목공사가 아니라, 이미 내재된 천재성을 잠금 해제하는 정교한 영역으로 진화한 것이죠.
4. 알고리즘의 진화, 전기를 태우는 ‘역전파 훈련’에서 ‘순수 수학’으로
AI 모델이 학습하며 진화하는 과정에서 가장 엄청난 전기와 시간을 소모하는 주범은 바로 미분을 수만 번 반복하며 경사하강법으로 오차를 수정해 나가는 역전파(Backpropagation) 알고리즘입니다. 산을 올라가기 위해 한 걸음마다 지형을 계산하며 더듬더듬 올라가는 이 무거운 연산 과정은 당연히 막대한 전력을 소모합니다.
그런데, 역시나 이 무식한 컴퓨팅 파워의 소모를 ‘순수 수학의 아름다움’으로 대체하는 대안들이 제시되고 있습니다. 바로 ‘훈련 없는 학습(Learning Without Training)’의 발견입니다.
구글 리서치가 2025년 12월 발표한 <Learning without training: The implicit dynamics of in-context learning>논문도 역시 효율성 혁명의 핵심입니다. 막대한 전기를 소모하는 역전파(Backprop) 훈련 과정 없이, 프롬프트에 몇 가지 예시를 주는 것(In-Context Learning)만으로 모델 내부의 다층 퍼셉트론(MLP) 레이어에서 실제로 가중치를 업데이트한 것과 수학적으로 동일한 효과가 실시간으로 일어남을 증명했습니다. 전기를 퍼붓는 사전 학습 없이도 모델이 추론(Inference) 단계에서 스스로 진화할 수 있음을 보여준 것입니다.
어제 리뷰한 라이언 오다우의 연구도 전기를 쏟아붓는 반복적인 최적화(역전파) 과정 자체를 우회하는 방법론을 내놓고 있습니다. 데이터가 이루는 기하학적 형태(다양체, Manifold)와 함수 해석학을 이용해, 무식한 반복 연산을 생략하고 정답으로 가는 명시적인 예측 수식을 즉각적으로 구축해 냅니다. 컴퓨팅 파워의 무식함을 우아하게(?) 수학 방정식으로 치환한 이 연구는 실증적으로 입증된다면, 트랜지스터 모먼트의 중요한 장면일 거라 생각합니다.
<훈련없는 학습 (Learning without Training)>
https://www.facebook.com/share/p/186mmKH6d5
5. 컴퓨팅 자원의 대이동, 공장(사전 학습)에서 현장의 숙고(Test-time)로
사실 이 모든 패러다임 시프트를 완성하는 가장 결정적이고 궁극적인 진화는, 막대한 전력과 컴퓨팅 자원을 쏟아붓는 타이밍(Timing) 자체가 완전히 이동했다는 것입니다.
지금까지는, 아니 얼마전까지는 Train-Time Compute 중심의 시스템 1, 그러니까 수만 개의 GPU를 동원해 수조 개의 데이터를 무작정 암기시키는 사전 학습(Pre-training)공장에 조 단위의 자본과 전기를 태웠습니다. 하지만 이렇게 주입식으로 학습된 모델은 질문을 받자마자 1초 만에 반사적으로 답을 툭 뱉어내는 얕고 직관적인 시스템 1(System 1) 사고방식에 머물렀습니다. 데이터가 아무리 늘어나도 논리력이 비례해서 오르지 않는 수확 체감의 벽에 부딪힌 것입니다.
그러다보니, 현재의 Test-Time Compute 중심의 시스템 2으로 패러다임이 바뀐겁니다. 무작정 거대한 모델을 만드는 데 집착하지 않고, 모델의 체급을 적정 수준으로 유지하는 대신, 정답을 내뱉기 전에 스스로 생각하고, 내부에서 수천 개의 논리 트리(MCTS)를 전개하며, 자신의 오류를 스스로 검증할 시간을 현장(추론 단계)에서 부여합니다. (OpenAI의 o1 시리즈, DeepSeek R1이 증명한 바로 그 방식입니다).
우리가 어려운 수학 문제를 풀 때, 종이에 수식을 적어가며 심사숙고하는 그런 시스템 2(System 2) 사고방식의 구현입니다. 모델의 파라미터 체급을 10배 키우기 위해 천문학적인 돈과 지구의 전기를 공장에 쏟아붓는 것보다, 체급이 작은 효율적인 모델이 현장에서 단 10초를 더 생각하게 만드는 것이 압도적으로 저렴하면서도 훨씬 강력한 수준의 논리적 추론 능력을 뿜어낸다는 효율 스케일링의 진리를 깨달은 것입니다.
(그러다보니, OpenClaw 같은 로컬 기반 에이전트의 가치가 무궁무진해질 거라고 생각합니다. 더 생각하고 더 초개인화/맞춤화되기위해서 굳이 점점 거대 모델이 필요하진 않게 되니까요)
———————-
결국 이 ‘트랜지스터 모먼트’는 단순히 전기를 아끼는 기술적 진보를 넘어, 인류 지능의 패러다임 자체를 거대 자본의 소유물에서 보편적인 효율의 도구로 전환시키고 있다고 생각합니다. 과거의 스케일링이 자본과 전력을 무한히 태울 수 있는 일부 빅테크만의 전유물이었다면, 이제 시작된 초정밀 집적의 시대는 최적화된 아키텍처와 우아한 수학적 조향만으로도 누구나 SOTA에 닿는 지능을 구현할 수 있다는 가능성을 보여주고 있습니다. 그동안은 거대 모델의 그림자에 가려져 있던 수많은 개인과 기업들이 다시금 ‘지능의 주권’을 되찾고, 각자의 로컬 환경에서 자신만의 초개인화된 에이전트를 자율적으로 운용할 수 있는 지능의 민주화 시대가 열렸다고 보는건 오버인지 아닌지 모르겠습니다^^
인류는 늘 절망적인 한계 앞에서 가장 아름다운 답을 찾아내며 진화해 왔습니다. 펄펄 끓는 진공관의 열기가 반도체의 차가운 이성으로 집적되었듯, 지금 우리가 겪고 있는 전력 장벽과 비용의 공포는 역설적으로 가장 우아하고 효율적인 지능의 르네상스를 불러오는 촉매제가 되었습니다. 그래서 며칠전 스트리니 리처치가 발표한 ‘AI파괴론’ 같은 얘기는 허상이라고 봅니다.
이제 “얼마나 큰 공장을 가졌는가”가 에서 “누가 더 깊이 숙고하고(Test-time), 누가 더 정밀하게 지능을 조향(Steering)하는가”라는 질적 도약의 영역으로 이동하고 있는겁니다. 스케일링이 유효하겠지만, 질적 부분에서 다양한 혁신의 기회가 발굴해야 겠죠. 그런다고, 스케일링은 버리려고, GPU가 안필요하다고 얘기하는건 금물입니다.^^