4월 8일 Meta AI와 KAUST 연구진이 발표한 논문 <Neural Computers>는 현대 컴퓨팅의 근간을 바꾸는 연구입니다. 그동안 우리는 AI를 ‘컴퓨터라는 도구를 능숙하게 다루는 영리한 에이전트’ 정도로 간주해 왔는데, 이 연구는 AI와 Runtime을 분리해 온 이분법을 없애버리고, AI 그 자체가 곧 실행 환경이 되는 신경 컴퓨터(Neural Computers, NC)의 도래를 얘기합니다.
이 논문이 제안하는 것은 1945년 이래 전 세계 컴퓨팅을 지배해 온 폰 노이만 아키텍처의 한계를 정조준하고, 소프트웨어와 하드웨어, OS의 경계가 허물어지는 Software-less 의 미래를 제시한다는 점에서 단순히 바이브 코딩과 에이전트로 촉발된 사스포칼립스보다 훨씬 더 임팩트 있어 보입니다.
# 연구 배경 : 폰 노이만 구조의 한계와 AI의 병목
오늘날 우리가 사용하는 거의 모든 컴퓨터는 폰 노이만 구조를 따르죠. 연산을 담당하는 CPU와 데이터를 저장하는 메모리가 분리된 채, Bus를 통해 데이터를 주고받는 구조입니다. 그러다보니 이 설계는 AI 시대에 접어들며 두 가지 치명적인 한계에 직면했습니다.
– 폰 노이만 병목 : CPU와 메모리 사이의 데이터 전송 속도가 연산 속도를 따라가지 못해 발생하는 지연 현상입니다. 모델 규모가 거대해질수록 이 병목은 시스템 전체의 효율을 잠식합니다. (가장 심각한 문제죠..)
– 경직된 추상화 계층: 하드웨어 위에 커널, OS, 런타임, 애플리케이션이 층층이 쌓여 있는 구조에서 AI가 무언가를 실행하려면 이 복잡한 계층을 일일이 거쳐야 하며, 당연히 에너지 낭비와 실행 지연으로 이어집니다.
오늘날의 AI 에이전트 역시 이러한 한계를 가지고 외부 OS의 기능을 호출하는 게스트에 머물러 있습니다. 연구진이 문제의 핵심으로 지목한 지점이 바로 여기, AI가 외부 환경에 종속되어 있는 구조 그 자체입니다.
# 논문의 핵심 혁신: ‘런타임’의 내재화
논문의 가장 중요한 부분은 런타임 자체가 학습된 모델 내부로 흡수되었다는 개념에 있습니다. 그러니까, 더 이상 윈도우나 리눅스 같은 외부 운영체제가 필요하지 않다는 뜻입니다.
– 경험으로 학습되는 실행 환경 (I/O Traces): NC는 코드를 한 줄씩 해석하는 대신, 시스템의 입출력 기록(I/O Traces)을 마치 영상 모델이 비디오를 학습하듯 통째로 받아들입니다. 사용자가 마우스를 클릭하거나 명령을 입력했을 때 화면과 데이터가 어떻게 변화하는지를 그대로 체득하는 방식입니다.
– 잠재 공간에서의 상태 전이: NC에서 프로그램의 실행은 ‘논리적 연산’이 아니라 ‘확률적 상태 전이’로 이루어집니다. 시스템의 현재 상태를 표현하는 잠재 벡터가 입력에 따라 다음 상태로 옮겨가는 과정 그 자체가 곧 컴퓨팅이며, 결국 추론(Inference)이 곧 실행(Execution)이 됩니다.
# 이 패러다임이 가져올 네 가지 파괴적 변화
이렇게 된다면, 우리가 알던 컴퓨팅 생태계 전반의 해체가 이뤄질 수 밖에 없습니다. (물론 매우 앞서가는 얘기입니다만…….)
1) 자기 진화하는 시스템: “앱을 설치한다”는 개념의 소멸
지금까지 새로운 기능을 쓰려면 우리는 늘 앱을 다운로드하고 설치해야 했습니다. 윈도우용인지 맥용인지를 따져가며 말이죠. 기존 시스템에서 기능을 수정하려면 개발자가 코드를 다시 작성하고 배포하는 절차가 필수였습니다.
그러나 NC는 새로운 입출력 트레이스를 학습하는 것만으로 스스로 기능을 확장합니다. 앞으로는 AI에게 우리가 일하는 모습을 한 번 보여주기만 하면 됩니다. 엑셀을 쓰기 위해 프로그램을 설치하는 게 아니라, AI가 내가 엑셀로 작업하는 영상을 한 번 쓱 훑고는 그 자리에서 엑셀을 구현해버리는 겁니다. 이제 AI 자체가 엑셀이 된 것이니, 별도의 소프트웨어는 더 이상 필요하지 않게 되는 것입니다. (현재 바이브코딩으로 소프트웨어를 구현하는것과 유사하긴 한데, 코드가 만들어지는게 아니라 컴파일 없이 그냥 실행되는겁니다. 아예 내재화되버리는거죠.)
코딩이 아닌 경험의 주입을 통해 시스템이 실시간으로 진화하는 것, 디버깅의 시대가 저물고 학습과 강화의 시대로 완전히 바뀝니다.
2) API의 종말
현재는 배달 앱과 결제 앱이 서로 대화하려면 API가 반드시 필요합니다. 서로 다른 언어를 쓰는 사람들이 통역사를 세워두고 대화하는 꼴입니다. 지금까지 서비스 간 통신은 JSON이나 REST API와 같이 규격화된 텍스트 데이터에 의존해 왔습니다.
하지만 모든 것이 신경망으로 통합된 NC 환경에서는 모델 간 잠재 상태(Latent State) 공유가 API의 자리를 대신합니다. 통역사 없이 일종의 텔레파시로 소통하는 것입니다. 배달 AI와 결제 AI가 서로 데이터 규격을 맞출 필요 없이, 그저 이거 결제해라는 것만 전달해도 즉각 실행됩니다.
인간이 읽을 수 있는 텍스트로 데이터를 파싱하고 전송하는 비효율을 통째로 없애버리고, 모델 내부의 고차원 벡터 값을 직접 주고받음으로써 AI끼리 즉시 연결되는 구조입니다. 복잡한 연동 과정이 사라지니 속도는 상상하기 어려울 만큼 빨라질 겁니다.
3) 하드웨어 아키텍처의 혁명: 컴퓨터 버벅거림 없어짐
폰 노이만 구조의 심장인 CPU는 조건문과 루프 처리에 최적화된 장치, 즉 아주 빠른 계산기입니다. 0과 1을 미친 듯이 계산해 답을 내놓지요. 그러나 신경 컴퓨터는 계산기라기보다 뇌에 가깝습니다.
실행 런타임이 모델 내부로 흡수되는 NC 시대에는 범용 CPU가 설 자리가 빠르게 좁아지고, 대신 방대한 잠재 상태를 유지하면서 고속으로 벡터 전이를 수행할 수 있는 신경망 전용 프로세서(NPU)와 뉴로모픽 칩이 메인 프로세서의 자리를 차지하게 될 겁니다.
지금까지의 컴퓨터가 “1+1은 2″라고 일일이 계산해 답을 냈다면, 미래의 컴퓨터는 직관적으로 판단해 결과를 띄워줍니다. 연산 방식 자체가 바뀌니, 더 이상 로딩 중이나 모래시계를 마주할 일이 사라집니다. 하드웨어가 곧 AI이고, AI가 곧 연산 장치인 지능-연산이 합쳐진 시대입니다.
4) 런타임 내재화 : “업데이트 중” 화면이 사라짐
맨날 그놈의 윈도우 업데이트 때문에 작업을 멈춰야 했던 경험이 셀 수 없이 많죠. 소프트웨어와 OS가 분리되어 있기에 벌어지는 일이지요. 그러나 NC 시대에는 AI 자체가 운영체제이자 실행 환경입니다.
우리 뇌가 새로운 지식을 받아들인다고 해서 뇌 가동을 멈추고 업데이트하지 않는 것과 같은 이치입니다. 컴퓨터가 켜져 있는 동안 AI는 끊임없이 배우고, 사용하는 와중에도 실시간으로 성능이 향상됩니다. 매일 똑똑해지는 내일은 오늘보다 똑똑한 컴퓨터가 되는 자가진화하는 컴퓨팅의 시대가 열리는 겁니다.
# 소프트웨어-리스(Software-less)
물론 저자들도 분명히 선을 긋습니다. 현재 NC는 비디오 모델 기반의 초기 프로토타입일 뿐이고, 산술 같은 단순한 기호 연산조차 4% 정확도에 머무는 수준이며, 안정적인 재사용.일관성.거버넌스는 아직 미해결 과제라고요.
폰 노이만이 바로 사라진다는 얘기라기 보다는, 다른 형태의 컴퓨팅 기계(machine form)가 후보로 등장했다는 선언에 가깝습니다. 그래서 기존 스택 위에 똑똑한 레이어를 하나 더 얹는 방향이 아닌 런타임 자체를 학습된 AI로 대체하는 방향을 처음으로 정식 의제화했다는 점에서 의미가 있는것 같습니다.
중요한건 이제 더 이상 “어떤 소프트웨어를 만들 것인가”가 아니라 “업무와 실행 런타임을 어떻게 신경망의 잠재 공간으로 옮겨낼 것인가”를 고민해봐야 한다는 점으로 보입니다. 소프트웨어-리스의 시대를 준비한다는 건, 결국 우리 업무 흐름 자체를 AI가 학습 가능한 형태로 다시 설계하는 일에서 시작될지도 모르겠습니다…
* 원문 출처 : https://arxiv.org/pdf/2604.06425