모든 게시물 마노지 예라사니 2026년 1월 25일 저자 제공

업계의 컨센서스(consensus)는 2026년이 "에이전트형 AI(agentic AI)"의 해가 될 것이라는 점입니다. 우리는 단순히 텍스트를 요약하는 챗봇(chatbot) 시대를 빠르게 지나고 있습니다. 우리는 작업을 실행하는 자율 에이전트(autonomous agent)의 시대로 진입하고 있습니다. 우리는 이들이 항공편을 예약하고, 시스템 중단(outage)을 진단하며, 클라우드 인프라(cloud infrastructure)를 관리하고, 실시간으로 미디어 스트림(media stream)을 개인화할 것으로 기대합니다. 올림픽(Olympics)과 슈퍼볼(Super Bowl)과 같은 대규모 글로벌 이벤트(global event) 동안 3천만 명의 동시 사용자를 서비스하는 플랫폼(platform)을 감독하는 기술 임원으로서, 저는 과대광고(hype) 뒤에 숨겨진 매력 없는 현실을 보았습니다. 에이전트(agent)는 믿을 수 없을 정도로 취약합니다.

임원들과 벤처 캐피탈리스트(VC)들은 모델 벤치마크(model benchmark)에 집착합니다. 그들은 Llama 3와 GPT-4를 놓고 논쟁합니다. 그들은 컨텍스트 윈도우(context window) 크기를 최대화하는 데 집중합니다. 하지만 그들은 실제 실패 지점을 무시하고 있습니다. 자율 에이전트(autonomous agent)가 프로덕션(production) 환경에서 실패하는 주된 이유는 종종 데이터 위생(data hygiene) 문제 때문입니다.

이전의 "휴먼 인 더 루프(human-in-the-loop)" 분석 시대에는 데이터 품질(data quality)이 관리 가능한 골칫거리였습니다. ETL 파이프라인(pipeline)에 문제가 발생하면, 대시보드(dashboard)에 잘못된 수익 수치가 표시될 수 있습니다. 인간 분석가(human analyst)가 이상 징후를 발견하고, 플래그(flag)를 지정하고, 수정했을 것입니다. 영향 범위(blast radius)는 제한적이었습니다. 자율 에이전트(autonomous agent)의 새로운 세상에서는 그 안전망이 사라졌습니다. 오늘날 데이터 파이프라인(data pipeline)이 드리프트(drift)되면, 에이전트(agent)는 단순히 잘못된 숫자를 보고하는 데 그치지 않습니다. 잘못된 조치를 취합니다. 잘못된 서버 유형(server type)을 프로비저닝(provisioning)합니다. 만화를 보는 사용자에게 공포 영화를 추천합니다. 손상된 벡터 임베딩(vector embedding)을 기반으로 고객 서비스(customer service) 답변을 환각(hallucinate)합니다.

NFL이나 올림픽(Olympics) 규모로 AI를 운영하기 위해, 저는 표준적인 데이터 클리닝(data cleaning)으로는 불충분하다는 것을 깨달았습니다. 우리는 단순히 데이터를 "모니터링(monitor)"할 수 없습니다. 우리는 데이터를 법제화해야 합니다. 이 특정 문제에 대한 해결책은 ‘데이터 품질 – 신조(creed)’ 프레임워크(framework) 형태일 수 있습니다. 이는 데이터 헌법(data constitution) 역할을 합니다. 단 한 바이트(byte)의 데이터라도 AI 모델(AI model)에 닿기 전에 수천 개의 자동화된 규칙을 강제합니다. 제가 이것을 NBCUniversal의 스트리밍 아키텍처(streaming architecture)에 구체적으로 적용했지만, 이 방법론은 AI 에이전트(AI agent)를 운영하려는 모든 기업에 보편적으로 적용될 수 있습니다. 여기 "방어적 데이터 엔지니어링(defensive data engineering)"과 신조(Creed) 철학이 에이전트형 시대(Agentic era)에서 살아남을 수 있는 유일한 방법인 이유가 있습니다.

벡터 데이터베이스(vector database) 함정

AI 에이전트(AI Agent)의 핵심 문제는 그들이 제공받는 컨텍스트(context)를 맹목적으로 신뢰한다는 것입니다. RAG(Retrieval-Augmented Generation)를 사용한다면, 벡터 데이터베이스(vector database)는 에이전트(agent)의 장기 기억(long-term memory)입니다. 표준적인 데이터 품질(data quality) 문제는 벡터 데이터베이스(vector database)에 치명적입니다. 전통적인 SQL 데이터베이스(SQL database)에서 널(null) 값은 그저 널(null) 값일 뿐입니다. 벡터 데이터베이스(vector database)에서는 널(null) 값 또는 스키마 불일치(schema mismatch)가 전체 임베딩(embedding)의 의미론적 의미(semantic meaning)를 왜곡할 수 있습니다.

메타데이터(metadata)가 드리프트(drift)되는 시나리오를 고려해 보십시오. 파이프라인(pipeline)이 비디오 메타데이터(video metadata)를 수집하지만, 경쟁 조건(race condition)으로 인해 "장르(genre)" 태그(tag)가 누락된다고 가정해 봅시다. 메타데이터(metadata)는 비디오를 "라이브 스포츠(live sports)"로 태그(tag)할 수 있지만, 임베딩(embedding)은 "뉴스 클립(news clip)"에서 생성되었을 수 있습니다. 에이전트(agent)가 데이터베이스(database)에 "터치다운 하이라이트(touchdown highlights)"를 질의할 때, 벡터 유사성 검색(vector similarity search)이 손상된 신호(signal)를 기반으로 작동하기 때문에 뉴스 클립(news clip)을 검색합니다. 에이전트(agent)는 그 클립(clip)을 수백만 명의 사용자에게 제공합니다. 대규모 환경에서는 다운스트림 모니터링(downstream monitoring)에 의존하여 이를 잡아낼 수 없습니다. 이상 징후 알람(anomaly alarm)이 울릴 때쯤이면, 에이전트(agent)는 이미 수천 가지의 잘못된 결정을 내렸을 것입니다. 품질 관리(quality control)는 파이프라인(pipeline)의 절대적인 "왼쪽(left)"으로 이동해야 합니다.

"신조(Creed)" 프레임워크(framework): 생존을 위한 3가지 원칙

신조(Creed) 프레임워크(framework)는 게이트키퍼(gatekeeper) 역할을 할 것으로 예상됩니다. 이는 수집 소스(ingestion source)와 AI 모델(AI model) 사이에 위치하는 다중 테넌트(multi-tenant) 품질 아키텍처(quality architecture)입니다. 자신만의 "헌법(constitution)"을 구축하려는 기술 리더(technology leader)들을 위해, 제가 추천하는 세 가지 비협상적 원칙이 있습니다.

1. "격리(quarantine)" 패턴(pattern)은 필수입니다:

많은 현대 데이터 조직에서 엔지니어(engineer)들은 "ELT" 접근 방식을 선호합니다. 그들은 원시 데이터(raw data)를 데이터 레이크(data lake)에 덤프(dump)하고 나중에 정리합니다. AI 에이전트(AI Agent)에게는 이것이 용납될 수 없습니다. 오염된 호수에서 에이전트(agent)가 물을 마시게 할 수 없습니다. 신조(Creed) 방법론은 엄격한 "데드 레터 큐(dead letter queue)"를 강제합니다. 데이터 패킷(data packet)이 계약을 위반하면 즉시 격리됩니다. 이는 벡터 데이터베이스(vector database)에 도달하지 않습니다. 에이전트(agent)가 잘못된 데이터(bad data) 때문에 자신 있게 거짓말을 하는 것보다, 누락된 데이터(missing data) 때문에 "모르겠다"고 말하는 것이 훨씬 낫습니다. 이 "회로 차단기(circuit breaker)" 패턴(pattern)은 세간의 이목을 끄는 환각(hallucination)을 방지하는 데 필수적입니다.

2. 스키마(Schema)는 법입니다:

수년 동안 업계는 빠른 움직임을 위해 "스키마리스(schemaless)" 유연성으로 나아갔습니다. 우리는 핵심 AI 파이프라인(AI pipeline)에 대해 그 추세를 역전시켜야 합니다. 우리는 엄격한 타이핑(typing)과 참조 무결성(referential integrity)을 강제해야 합니다. 제 경험상, 견고한 시스템(system)은 규모를 필요로 합니다. 제가 감독하는 구현은 현재 실시간 스트림(real-time stream) 전반에 걸쳐 1,000개 이상의 활성 규칙을 강제하고 있습니다. 이는 단순히 널(null) 값을 확인하는 것이 아닙니다. 비즈니스 로직(business logic) 일관성을 확인합니다.

• 예시: 이벤트 스트림(event stream)의 "user_segment"가 피처 스토어(feature store)의 활성 분류 체계(taxonomy)와 일치합니까? 일치하지 않으면 차단합니다.
• 예시: 타임스탬프(timestamp)가 실시간 추론(real-time inference)을 위한 허용 가능한 지연 시간(latency) 범위 내에 있습니까? 그렇지 않으면 삭제합니다.

3. 벡터 일관성 검사(Vector consistency checks):

이것은 SRE(Site Reliability Engineer)의 새로운 개척지입니다. 우리는 벡터 데이터베이스(vector database)에 저장된 텍스트 청크(text chunk)가 실제로 그와 관련된 임베딩 벡터(embedding vector)와 일치하는지 확인하기 위한 자동화된 검사를 구현해야 합니다. 임베딩 모델(embedding model) API(Application Programming Interface)의 "무음(silent)" 실패는 종종 아무것도 가리키지 않는 벡터(vector)를 남깁니다. 이는 에이전트(agent)가 순수한 노이즈(noise)를 검색하게 만듭니다.

문화 전쟁: 엔지니어(Engineer) 대 거버넌스(governance)

신조(Creed)와 같은 프레임워크(framework)를 구현하는 것은 단순히 기술적인 도전이 아닙니다. 문화적인 도전입니다. 엔지니어(engineer)들은 일반적으로 가드레일(guardrail)을 싫어합니다. 그들은 엄격한 스키마(schema)와 데이터 계약(data contract)을 배포 속도(deployment velocity)를 늦추는 관료적인 장애물로 간주합니다. 데이터 헌법(data constitution)을 도입할 때, 리더(leader)들은 종종 반발에 직면합니다. 팀(team)들은 엄격한 데이터베이스 관리(database administration)의 "폭포수(waterfall)" 시대로 돌아가는 것처럼 느낍니다.

성공하려면 인센티브 구조(incentive structure)를 뒤집어야 합니다. 우리는 신조(Creed)가 실제로 가속기(accelerator)임을 입증했습니다. 입력 데이터(input data)의 순수성을 보장함으로써, 데이터 과학자(data scientist)들이 모델 환각(model hallucination)을 디버깅(debugging)하는 데 보내던 몇 주를 없앴습니다. 우리는 데이터 거버넌스(data governance)를 규정 준수(compliance) 작업에서 "서비스 품질(quality of service)" 보장으로 전환했습니다.

데이터 의사 결정자(data decision maker)를 위한 교훈

2026년을 위한 AI 전략(AI strategy)을 구축하고 있다면, 더 많은 GPU(Graphics Processing Unit)를 구매하는 것을 멈추십시오. 이번 주에 어떤 파운데이션 모델(foundation model)이 리더보드(leaderboard)에서 약간 더 높은지에 대해 걱정하는 것을 멈추십시오. 데이터 계약(data contract)을 감사하기 시작하십시오. AI 에이전트(AI Agent)는 데이터(data)가 신뢰할 수 있는 만큼만 자율적입니다. 신조(Creed) 프레임워크(framework)와 같은 엄격하고 자동화된 데이터 헌법(data constitution)이 없다면, 당신의 에이전트(agent)는 결국 통제 불능이 될 것입니다. SRE(Site Reliability Engineer)의 세계에서 통제 불능 에이전트(rogue agent)는 고장 난 대시보드(dashboard)보다 훨씬 나쁩니다. 그것은 신뢰, 수익, 고객 경험(customer experience)의 조용한 살인자입니다.

마노지 예라사니(Manoj Yerrasani)는 선임 기술 임원입니다. VentureBeat 커뮤니티에 오신 것을 환영합니다! 저희 게스트 포스팅 프로그램은 기술 전문가들이 AI, 데이터 인프라(data infrastructure), 사이버 보안(cybersecurity) 및 기업의 미래를 형성하는 기타 최첨단 기술에 대한 통찰력을 공유하고 중립적이며 사심 없는 심층 분석을 제공하는 곳입니다. 저희 게스트 포스트 프로그램에서 더 많은 내용을 읽어보시고, 직접 기고하는 데 관심이 있으시다면 저희 가이드라인(guideline)을 확인해 보세요! 더 보기