All Posts Sean Michael Kerner 2026년 1월 13일 크레딧: VentureBeat가 FLUX-2-Pro로 생성한 이미지

기업용 대규모 언어 모델(LLM)이 제품명, 기술 사양 또는 표준 계약 조항을 검색할 때, 이는 복잡한 추론을 위해 설계된 값비싼 GPU 연산을 사용하여 단지 정적 정보에 접근하는 것입니다. 이러한 일은 하루에 수백만 번 발생합니다. 각 조회는 사이클을 낭비하고 인프라 비용을 증가시킵니다.

DeepSeek이 새로 발표한 "조건부 메모리(conditional memory)" 연구는 이러한 아키텍처적 한계를 직접적으로 다룹니다. 이 연구는 정적 패턴 검색을 동적 추론과 분리하는 모듈인 Engram을 소개합니다. 이는 신경망(neural networks)에서 메모리가 실제로 무엇을 위한 것인지에 대한 가정에 도전하는 결과를 제공합니다. 이 논문은 DeepSeek의 설립자인 Liang Wenfeng이 공동 저술했습니다.

체계적인 실험을 통해 DeepSeek은 연산과 메모리 사이의 최적의 균형을 찾았는데, 희소 모델 용량의 75%는 동적 추론에, 25%는 정적 조회에 할당되었습니다. 이 메모리 시스템은 지식 검색보다 추론을 더 많이 개선했습니다. 복잡한 추론 벤치마크는 정확도가 70%에서 74%로 향상되었고, 지식 중심 테스트는 57%에서 61%로 개선되었습니다. 이러한 개선은 Big-Bench Hard, ARC-Challenge, MMLU를 포함한 테스트에서 나타났습니다.

이 연구는 기업들이 GPU 메모리 제약과 인프라 비용을 헤쳐나가면서 더 강력한 AI 시스템을 배포해야 하는 점증하는 압력에 직면하고 있는 시점에 나왔습니다. DeepSeek의 접근 방식은 모델이 어떻게 구조화되어야 하는지에 대한 근본적인 재고를 통해 잠재적인 해결책을 제시합니다.

조건부 메모리가 에이전트 메모리 및 RAG와 다른 문제를 해결하는 방법

Hindsight, MemOS 또는 Memp와 같이 때로는 맥락적 메모리(contextual memory)라고 불리는 에이전트 메모리 시스템(agentic memory systems)은 일화적 메모리(episodic memory)에 중점을 둡니다. 이들은 과거 대화, 사용자 선호도 및 상호작용 기록을 저장합니다. 이러한 시스템은 에이전트가 세션 전반에 걸쳐 맥락을 유지하고 경험으로부터 학습하는 데 도움을 줍니다. 그러나 이들은 모델의 순방향 전달(forward pass) 외부에 존재하며 모델이 정적 언어 패턴을 내부적으로 처리하는 방식을 최적화하지 않습니다.

Hindsight를 개발한 Vectorize의 설립자이자 CEO인 Chris Latimer는 Engram에 사용된 조건부 메모리(conditional memory) 접근 방식이 에이전트 AI 메모리(agentic AI memory)와는 다른 문제를 해결한다고 말했습니다. Latimer는 VentureBeat에 "이는 에이전트를 대화 기록 및 지식 저장소와 같은 외부 메모리에 연결하는 문제를 해결하는 것이 아닙니다. 더 작은 모델에서 성능을 끌어내고 희소한 GPU 자원을 더 효율적으로 활용하는 데 더 중점을 둡니다."라고 말했습니다.

조건부 메모리는 근본적인 문제를 해결합니다. 트랜스포머(Transformers)는 네이티브 지식 조회 기본 요소(native knowledge lookup primitive)가 부족합니다. 텍스트를 처리할 때, 이들은 여러 계층에 걸쳐 비용이 많이 드는 신경망 연산(neural computation)을 통해 정적 패턴 검색을 시뮬레이션해야 합니다. 이러한 패턴에는 명명된 개체(named entities), 기술 용어(technical terminology) 및 일반적인 구문(common phrases)이 포함됩니다.

DeepSeek 논문은 구체적인 예시로 이를 설명합니다. "다이애나, 웨일스 공주(Diana, Princess of Wales)"를 인식하려면 여러 계층의 어텐션(attention) 및 피드포워드 네트워크(feed-forward networks)를 사용하여 점진적으로 특징을 구성해야 합니다. 모델은 본질적으로 깊고 동적인 논리 회로를 사용하여 간단한 해시 테이블 조회(hash table lookup)여야 할 작업을 수행합니다. 이는 전화번호를 그냥 찾아보는 대신 계산기를 사용하여 기억하는 것과 같습니다.

연구원들은 "문제는 트랜스포머가 네이티브 지식 조회 능력이 부족하다는 것입니다. 검색과 같이 O(1) 시간에 해결되어야 하는 많은 작업이 많은 양의 연산을 통해 검색을 시뮬레이션해야 하므로 매우 비효율적입니다."라고 썼습니다.

조건부 메모리가 작동하는 방식

Engram은 MoE의 조건부 연산(conditional computation)과 함께 작동하도록 "조건부 메모리(conditional memory)"를 도입합니다. 메커니즘은 간단합니다. 이 모듈은 두세 개의 토큰 시퀀스를 가져와 해시 함수(hash functions)를 사용하여 대규모 임베딩 테이블(embedding table)에서 조회합니다. 검색은 테이블 크기에 관계없이 상수 시간(constant time)에 발생합니다. 그러나 검색된 패턴은 필터링이 필요합니다. "Apple"에 대한 해시 조회는 관련 없는 내용과 충돌할 수 있거나, 그 단어가 회사가 아닌 과일을 의미할 수 있습니다. Engram은 게이팅 메커니즘(gating mechanism)으로 이를 해결합니다. 모델의 현재 맥락 이해(이전 어텐션 계층을 통해 축적된)가 필터 역할을 합니다. 검색된 메모리가 현재 맥락과 모순되면 게이트는 이를 억제합니다. 적합하면 게이트는 이를 통과시킵니다. 이 모듈은 모든 계층에 적용되지 않습니다. 전략적 배치는 성능 향상과 시스템 지연 시간 사이의 균형을 맞춥니다.

이 이중 시스템 설계는 중요한 질문을 제기합니다. 각 시스템은 얼마나 많은 용량을 가져야 하는가? DeepSeek의 핵심 발견은 다음과 같습니다. 최적의 분할은 연산에 75-80%, 메모리에 20-25%입니다. 테스트 결과 순수 MoE(100% 연산)는 최적이 아님을 입증했습니다. 너무 많은 연산은 정적 패턴을 재구성하는 데 깊이를 낭비하고, 너무 많은 메모리는 추론 능력을 잃습니다.

인프라 효율성: GPU 메모리 우회

아마도 Engram의 가장 실용적인 기여는 인프라 인식 설계(infrastructure-aware design)일 것입니다. 런타임 은닉 상태(runtime hidden states)에 의존하는 MoE의 동적 라우팅(dynamic routing)과 달리, Engram의 검색 인덱스(retrieval indices)는 오직 입력 토큰 시퀀스(input token sequences)에만 의존합니다. 이 결정론적 특성은 프리페치 및 오버랩 전략(prefetch-and-overlap strategy)을 가능하게 합니다.

Latimer는 "문제는 GPU 메모리가 제한적이고 비싸기 때문에 더 큰 모델을 사용하는 것이 비용이 많이 들고 배포하기 더 어려워진다는 것입니다. Engram의 영리한 아이디어는 주요 모델은 GPU에 유지하되, 모델에 저장된 정보의 상당 부분을 일반 RAM의 별도 메모리로 오프로드하여 모델이 적시(just-in-time) 방식으로 사용할 수 있도록 하는 것입니다."라고 말했습니다.

추론(inference) 중에 시스템은 PCIe를 통해 호스트 CPU 메모리(host CPU memory)에서 비동기적으로 임베딩을 검색할 수 있습니다. 이는 GPU가 이전 트랜스포머 블록을 연산하는 동안 발생합니다. 전략적인 계층 배치(Strategic layer placement)는 초기 계층의 연산을 버퍼로 활용하여 통신 지연 시간(communication latency)을 가립니다. 연구원들은 1000억 개 매개변수 임베딩 테이블(100B-parameter embedding table)을 전적으로 호스트 DRAM으로 오프로드하여 이를 시연했습니다. 그들은 3% 미만의 처리량 페널티(throughput penalties)를 달성했습니다. 저장소와 연산의 이러한 분리(decoupling of storage from compute)는 GPU 고대역폭 메모리(high-bandwidth memory)가 비싸고 희소한 상태로 남아있기 때문에 기업의 중요한 제약(critical enterprise constraint)을 해결합니다.

기업 AI 배포에 대한 의미

AI 인프라 전략을 평가하는 기업에게 DeepSeek의 발견은 몇 가지 실행 가능한 통찰력을 제시합니다.

1. 하이브리드 아키텍처(Hybrid architectures)가 순수 접근 방식(pure approaches)보다 뛰어납니다. 75/25 할당 법칙(allocation law)은 최적의 모델이 희소 용량(sparse capacity)을 연산과 메모리 사이에 분할해야 함을 나타냅니다.
2. 인프라 비용이 GPU에서 메모리로 전환될 수 있습니다. Engram 스타일 아키텍처가 생산 환경에서 실행 가능하다고 입증된다면, 인프라 투자 패턴이 바뀔 수 있습니다. 최소한의 오버헤드로 1000억 개 이상의 매개변수를 CPU 메모리에 저장하는 능력은 메모리 풍부, 연산 적정 구성(memory-rich, compute-moderate configurations)이 순수 GPU 스케일링(pure GPU scaling)보다 더 나은 비용 대비 성능(performance-per-dollar)을 제공할 수 있음을 시사합니다.
3. 추론 개선이 지식 향상을 능가합니다. 지식 검색보다 추론이 더 많은 이점을 얻는다는 놀라운 발견은 메모리의 가치가 명백한 사용 사례를 넘어 확장됨을 시사합니다.

AI 도입을 선도하는 기업에게 Engram은 다음 개척지(next frontier)가 단순히 더 큰 모델이 아닐 수 있음을 보여줍니다. 이는 정적 지식과 동적 추론 사이의 근본적인 구분을 존중하는 더 스마트한 아키텍처 선택입니다. 이 연구는 최적의 AI 시스템이 점점 더 하이브리드 아키텍처와 유사해질 것임을 시사합니다. 주기 후반에 AI 도입을 기다리는 조직은 주요 모델 제공업체가 조건부 메모리 원칙을 아키텍처에 통합하는지 여부를 모니터링해야 합니다. 75/25 할당 법칙이 규모와 도메인 전반에 걸쳐 유효하다면, 차세대 기반 모델(foundation models)은 더 낮은 인프라 비용으로 상당히 향상된 추론 성능을 제공할 수 있습니다.

More