지난번 글에서 저는 RAG의 한계를 극복하기 위한 대안으로 ‘하이브리드 RAG(Dynamic GraphRAG)’를 제시한 바 있습니다
데이터의 관계를 파악하는 GraphRAG와 프로세스의 유연함을 더하는 LangGraph의 결합이 RAG의 ‘지능’을 한 단계 높일 수 있다는 주장이었습니다. 하지만 기술의 진화 속도는 우리의 예상보다 훨씬 빠르고 역동적입니다. 그래서, 지난번에 제안했던 하이브리드 전략을 토대로 한 단계 더 나아간, AI 신뢰성의 또하나의 퍼즐을 맞추기 위한 새로운 대안을 생각해봤습니다.
1. 하이브리드 RAG (Hybrid RAG)의 성과와 한계
먼저, 제가 지난번 글에서 강조했던 핵심은 ‘데이터와 프로세스의 결합’이었습니다. 초기의 Standard RAG는 “유사도 기반의 문서 검색”이라는 단순한 메커니즘을 가졌기에, 그 성능과 효율성에도 불구하고, “A와 B 사이의 숨겨진 관계는 무엇인가?”와 같은 추론형 질문에 답하지 못하는 ‘멍청한 검색기’라는 비판도 있었습니다
이를 해결하기 위해 두가지가 제시되었죠. 첫째는 GraphRAG(지식 그래프)입니다. 문서를 단순한 텍스트 덩어리가 아닌, 개체(Entity)와 관계(Relation)의 연결망으로 저장하여 AI에게 데이터의 맥락을 이해할 수 있는 ‘정교한 지도’를 쥐여주었습니다. 둘째는 LangGraph입니다. 기존의 선형적인 검색 파이프라인을 순환(Loop) 가능한 구조로 바꾸어, 검색 결과가 부실하면 다시 검색하는 ‘자가 교정(Self-Correction)’ 능력을 부여했습니다.
이 하이브리드 RAG 전략은 분명 효과적이고, 많이들 보편적으로 사용하고 있습니다. AI는 단편적인 사실뿐만 아니라 맥락을 파악하기 시작했습니다. 하지만 현업 적용 과정에서 우리는 또 다른 벽이 있었습니다.
바로 ‘단일 에이전트(Single Agent)의 인지 부하’ 문제입니다. 아무리 좋은 지도(Graph)와 좋은 차(LangGraph)를 줘도, 운전자(LLM)가 한 명뿐이라면 복잡한 도로 상황에서 길을 잃거나(추론실패), 졸음운전(hallucination)을 할 수 있습니다. 질문이 조금만 더 복잡해져서 “A 기업의 재무제표를 분석하고, B 법안과의 법적 리스크를 검토한 뒤, C 시장의 경쟁 상황과 비교해줘”와 같은 다단계 추론이 필요할 때, 단일 에이전트는 계획을 세우다 지치거나, 중간 단계의 오류를 스스로 검증하지 못하고 ‘그럴듯한 환각(Hallucination)’에 빠지는 현상이 발견되었습니다.
결국, 따져보면 문제는 ‘데이터’를 넘어 ‘일하는 방식’에 있었습니다.
2. 흐름의 변화 – Agentic RAG의 대두
이러한 ‘똑똑한 싱글 플레이어’의 한계를 극복하기 위해, Agentic RAG가 나왔습니다. RAG를 단순한 ‘조회 도구’가 아닌, 능동적인 ‘행동 주체’로 재정의하는 흐름입니다.
Agentic RAG의 핵심은 ‘수동성에서의 탈피’입니다. 기존 RAG가 사용자의 질문을 그대로 벡터 DB에 던졌다면, Agentic RAG는 질문을 받으면 먼저 생각(Reasoning)을 합니다.
– 쿼리 변형(Query Transformation) : 사용자의 모호한 질문을 검색 엔진이 이해하기 쉬운 명확한 언어로 번역합니다.
– 작업 분해(Decomposition) : 한 번에 풀 수 없는 문제를 여러 개의 작은 검색 작업으로 쪼갭니다.
– 도구 선택(Tool Selection) : “이건 웹 검색이 필요해”, “이건 내부 문서 검색이 필요해”를 스스로 판단합니다.
LangGraph나 LlamaIndex와 같은 프레임워크들이 이러한 기능을 표준화하면서, RAG는 단순한 답변 생성기를 넘어, 스스로 정보를 찾고 검증하려 시도하는 ‘연구원’ 수준으로 진화했습니다. 하지만 여전히 아쉬움은 남았습니다. 연구원이 열심히는 하는데, 그 연구원의 실력을 누가 보장할 것인가? 그리고 혼자서 너무 많은 짐을 지고 있는 것은 아닌가? 하는 걱정이었죠.
3. LangChain의 Deep Agent
그러다가, 최근 따끈따끈하게 나온 LangChain의 딥 에이전트(Deep Agent) 구조 보면서, 또다른 진화가 이루어지고 있구나 하고 생각했습니다,
LangChain은 복잡하고 장기적인 과제(Long-horizon tasks)를 해결하기 위해, 단일 모델의 성능을 높이는 것이 아니라 철저히 ‘조직화된 구조(Organizational Structure)’를 택했습니다. 딥 에이전트의 구조는 마치 잘 짜인 인간의 프로젝트 팀을 보는 것과 같습니다.
– 상세한 시스템 프롬프트(Role Definition) : 각 에이전트에게 명확한 역할과 행동강령을 부여합니다.
– 계획 도구(Planning Tool) : 실제 작업에 착수하기 전에 반드시 업무 리스트(To-Do)를 작성하게 강제합니다.
– 서브 에이전트(Sub-Agents) : 메인 에이전트가 모든 걸 하지 않고, 코딩, 검색 등 특정 기능에 특화된 하위 에이전트에게 업무를 위임합니다.
– 파일 시스템(Shared Memory): 작업 중 생성된 산출물을 공유 저장소에 저장하여 컨텍스트를 유지합니다.
여기서 저는 중요한 통찰을 얻었습니다. “복잡한 문제를 해결하는 힘은 ‘슈퍼 AI’ 하나가 아니라, 잘 짜인 ‘조직’과 ‘시스템’에서 나온다”는 점입니다. AI에게 더 높은 IQ도 중요하지만, 더필요한 것은 더 효율적인 분업과 협업 체계였던 겁니다.
4. RAG의 다음 진화 방향 : Orchestra RAG
그래서, 하이브리드 RAG의 강력한 데이터 처리 능력 위에, Deep Agent에서 얻은 조직화의 원리를 더한 통합 아키텍처로 진화하지 않을까 합니다. 유사한 사례들은 있는데, 개념은 없길래 ‘오케스트라 RAG(Orchestra RAG)’라고 일단은 지어봤습니다.
이 방식은 AI를 오케스트라처럼 지휘자(Instructor Agent), 연주자(Worker Agent), 그리고 청음 위원회(Critics Agent)로 나누어 유기적으로 협업하게 만드는 구조입니다.
첫째, 마에스트로의 지휘 (Instructor 구조 도입), 오케스트라 RAG의 두뇌는 Instructor 에이전트입니다. 사용자의 복잡한 질문이 들어오면, 직접 검색하거나 답변하지 않습니다. 역할은 오직 ‘전략 수립’입니다. LangChain Deep Agent의 Planning 방식처럼, 질문을 논리적인 단위로 해체(Decomposition)하고, 실행 계획을 짭니다. “1단계로 A법안을 조사하고, 2단계로 B기업의 재무를 파악한 뒤, 3단계로 비교하라”는 식의 구체적인 지시서를 만듭니다.
둘째, 전문 연주자의 실행 (Hybrid RAG 활용) 지휘자의 지시를 받은 Worker 에이전트들은 각자의 전문 분야에서 일을 시작합니다. 하이브리드 RAG가 도구로써 그 역할을 빛을 하는거죠. 어떤 Worker는 GraphRAG를 도구로 사용하여 “인물 간의 숨겨진 관계”를 추론해 옵니다. 어떤 Worker는 Web Search를 통해 최신 뉴스나 주가 정보를 가져옵니다. 이들은 서로 다른 악기(도구)를 연주하지만, 마에스트로의 지휘 아래 일사불란하게 데이터를 수집하고 답변의 초안을 작성합니다.
셋째, 치열한 토론과 합의 (Debate & Consensus) 이것이 오케스트라 RAG의 핵심이자, 기존 시스템과의 가장 큰 차별점입니다. Worker들이 가져온 초안은 바로 사용자에게 전달되지 않습니다. 우리가 계속 고민하는게 바로 아무리 뭘 해도, 존재하는 환각인데요, 이를 더 줄여야 합니다. 그래서, 별도의 Debate 에이전트(검증가)들이 투입되어 치열한 ‘비공개 청음회’를 엽니다. 안드레 카바시가 얘기한 Multi-Agent Debate 구조죠.
이 검증 에이전트들은 비판적인 페르소나를 가지고 질문합니다. “Worker A가 가져온 데이터는 2024년 기준이라 최신성이 떨어진다.”, “Worker B의 추론은 GraphDB의 관계 정보와 모순된다.” 이러한 상호 비판과 검증 과정을 거치며, 만약 오류가 발견되면 시스템은 즉시 다시 검색하도록(Loop) Worker를 돌려보냅니다. 이 치열한 자가 교정(Self-Correction) 과정을 통과하여 모든 에이전트가 합의(Consensus)한 내용만이 최종적으로 사용자에게 전달됩니다.
결론적으로, 그동안 ‘완벽한 지식’을 꿈꾸다 경직성의 덫에 걸린 전통적 온톨로지를 보았고, 강력하지만 막대한 비용과 벤더 종속(Lock-in)을 요구하는 팔란티어 AIP의 딜레마를 목격했습니다. 오케스트라 RAG는 오픈소스 생태계와 LLM의 유연성을 활용하여 비용 효율성을 유지하면서도, ‘조직화(Orchestration)’와 ‘집단 검증(Consensus)’을 통해 기업과 산업현장에서 요구하는 높은 수준의 신뢰성을 확보할 수 있지 않을까 합니다.
Anyway, 이제 AI 도입 전략은 바뀌어야 합니다. 단순히 “어떤 LLM을 쓸까?”를 고민하는 단계를 넘어, “어떤 AI 구조를 그릴 것인가?”를 고민해야 할 때죠. Agent 시대에 instructor-worker-debate 구조로 지휘하고,스스로 생각하고, 검증하고, 합의하는 AI 구조가, RAG의 다음 진화방향이 아닐까 생각합니다.