UIUC,Stanford,NVIDIA,MIT 공동 연구진이 4월 28일arXiv에 올린 논문입니다. 제목은 <Recursive Multi-Agent Systems> 한 줄로 요약하면 이렇습니다.
“멀티에이전트의 협업 자체를, 잠재 공간의 재귀(latent-space recursion)로 다시 설계한다.”
수치부터 보겠습니다.
– 평균 정확도 +8.3% (9개 벤치마크)
– 추론 속도 최대 2.4× 향상
– 토큰 사용량 최대 −75.6% !!!!
– 학습 파라미터는 전체 시스템의 0.31% (13M)
문제의식은 지금까지 멀티에이전트 시스템(MAS)의 협업 방식은 특화된 에이전트들이 협력하여 단일 모델로는 해결하기 어려운 복잡한 작업을 수행하는데, 기존의 MAS는 에이전트들이 명시적인 자연어 토큰을 교환하는 텍스트 기반 통신에 크게 의존하는데요, 이러한 의존성은 반복적인 디코딩 및 인코딩으로 인한 높은 추론 지연 시간과 이산 텍스트의 미분 불가능성으로 인한 학습 불안정성 등 여러 가지 병목 현상을 초래한다고 합니다.
즉, MAS는 본질적으로 한 에이전트가 토큰을 뱉으면, 다음 에이전트가 그 텍스트를 다시 읽고 다시 토큰을 뱉는 구조였는데, 매 라운드마다 vocabulary projection이라는 무거운 비용을 지불하면서, 정보의 상당 부분은 디코딩 과정에서 사라지는 겁니다.
그래서, RecursiveMAS 프레임워크는 에이전트 간 상호작용을 연속적인 잠재 공간 내에서 이루어지는 통합된 재귀적 연산으로 재해석함으로써 이러한 문제들을 해결합니다. 에이전트들은 다음 에이전트가 읽을 텍스트를 출력하는 대신, 고차원 벡터 표현인 잠재적 사고를 생성하고, 이를 변환하여 다음 에이전트에게 직접 전달합니다. 이러한 접근 방식을 통해 전체 다중 에이전트 시스템을 단일의 심층 재귀 네트워크로 취급할 수 있으며, 텍스트 생성에 따른 오버헤드 없이 여러 차례의 협업을 통해 추론 능력을 반복적으로 개선할 수 있습니다. (Latent space 는 새로운 얘기는 아니지만, 에이전트 개념으로 접근이네요)
RecursiveMAS의 핵심 장치는 RecursiveLink라는 작은 잔차(residual) 모듈 하나입니다.
– Inner Link : 에이전트 내부에서 last hidden state를 input embedding 공간으로 다시 매핑합니다. 토큰으로 떨어뜨리지 않고 잠재 사고(latent thought)로 추론을 이어갑니다.
– Outer Link : 한 에이전트의 잠재 상태를 다른 에이전트로 직접 전달합니다. 두 에이전트의 hidden size가 달라도 통과 가능합니다.
마지막 라운드에서만 텍스트로 디코딩하고, 그 전까지의 모든 협업은 잠재 공간에서만 일어납니다. 베이스 LLM은 전부 frozen, 학습은 오직 RecursiveLink만. 그래서 0.31%입니다.
여기서, 그동안 제가 반복해서 얘기해온 프레임이 생각나네요.
Stateless → Stateful Agent-Centric Architecture
지금까지 멀티에이전트 시스템의 본질적 한계는 매번 텍스트로 리셋되는 것이었습니다. 협업이라 부르긴 했지만, 매 턴마다 컨텍스트를 통째로 재구성하면서 정보 손실을 누적시키는 구조에 가까웠습니다. 그런데, RecursiveMAS는 잠재 상태를 보존하며 시스템 전체가 기억하는 협업체로 진화하는 길을 보여줍니다.
이게 왜 중요할까요. 결국 엔터프라이즈 AX의 진짜 해자는 모델 그 자체가 아니라 에이전트 시스템이 축적,전이,재사용하는 잠재 상태이기 때문입니다. RecursiveMAS 도 제가 말해온 그 stateful 한 메모리의 중요성을 강조하고 있는것으로 보입니다. 상태가 잠재공간에서 유지되는거죠.
요즘 에이전트 시대라는 말은 흔하지만, 정작 그 에이전트들이 어떤 방식으로 협업하는가에 대한 근본적 재설계는 드물었습니다. 이 논문은 그런 지점에서 중요하다 봅니다.
* 논문 출처 : arxiv.org/abs/2604.25917
* 프로젝트: recursivemas.github.io