Xavi Amatriain, Expedia Group

8:00 am, PT, July 6, 2026

CleoPtolemy made with Midjourney

오늘날 단순히 작동하는 AI와 대규모로 지속 가능한 AI 사이에는 중요한 차이가 있습니다. 많은 기업들이 두 번째 것을 구축하고 있는지 전혀 묻지 않고 첫 번째 것에 대해 열심히 최적화합니다. 규율과 전략적 방향 없는 속도는 자산이 아니라 부채입니다. 대규모 AI를 구축하는 가장 어려운 부분은 모델을 한 번 작동시키는 것이 아닙니다. 시간이 지남에 따라 계속 작동하고, 개별 팀과 사용 사례를 넘어 확장되며, 지속적으로 개선되는 시스템을 구축하는 것입니다. 오늘날의 AI 시스템은 단순히 예측하고 최적화하는 것 이상을 수행합니다. 이들은 대화하고, 추론하며, 점점 더 많은 조치를 취합니다. 여행자를 대신하여 결정을 내리는 자율 시스템(autonomous system)은 신뢰성, 거버넌스(governance) 및 책임에 대한 매우 다른 기대치를 생성합니다. AI가 이러한 역할을 더 많이 수행함에 따라, 이러한 시스템이 작동하는 방식 뒤에 있는 원칙은 그 어느 때보다 중요해집니다. 우리는 개인화, 순위 지정, 추천부터 사기 방지, 고객 지원, 그리고 최근에는 생성형(generative) 및 에이전트형(agentic) AI 경험에 이르기까지 여행자 여정 전반에 걸쳐 AI 및 머신러닝(ML)을 적용하는 데 수년을 보냈습니다. 이러한 깊이 있는 경험을 통해 우리는 회사 전체에서 AI 시스템을 구축, 배포 및 발전시키는 방법을 안내하는 일련의 ML 및 AI 원칙을 개발하게 되었습니다. 목표는 간단합니다. 우리가 구축하는 시스템이 실제 비즈니스 가치를 창출하고, 확장되며, 안전하게 작동하도록 하는 것입니다. 이러한 원칙은 우리가 시스템을 측정하고, 설계하고, 거버넌스하며, 운영하는 방법을 정의합니다.

From principles to practice

원칙을 발표하는 것은 쉬운 부분입니다. 더 어렵고 중요한 작업은 원칙을 운영 메커니즘으로 전환하는 것입니다. 즉, 팀이 실제로 사용하는 권장 사항, 요구 사항, 도구 및 릴리스 프로세스로 만드는 것입니다. 우리는 에이전트형 AI 기능(agentic AI features)을 출시하기 전에 권장되고, 경우에 따라 필수적인 일련의 검사 항목인 에이전트형 릴리스 톨게이트(Agentic Release tollgates)를 사용하기 시작했습니다. 이러한 톨게이트는 명확한 소유권, 위험 기반 거버넌스, 평가, 안전한 출시 및 모니터링과 같은 원칙을 팀에 대한 구체적인 기대치로 전환합니다. 이러한 권장 사항 및 요구 사항 중 일부는 이미 자동화되어 소프트웨어 개발 수명 주기(SDLC)에 통합되고 있습니다. 시간이 지남에 따라 이러한 기대치가 AI 시스템을 처음부터 설계하고, 평가하고, 승인하고, 출시하고, 모니터링하는 방식에 내재되는 것이 목표입니다.

Outcomes: Measuring what actually matters

모든 모델의 첫 번째 테스트는 단순히 기술적 지표(technical metric)를 개선하는지 여부가 아니라 비즈니스 성과(business outcome)와 궁극적으로 여행자 경험을 개선하는지 여부입니다.

• 비즈니스 영향이 있는 지표에 모델 정렬: 모든 ML 노력은 핵심 비즈니스 성과 또는 여행자 경험 지표에 직접 연결되어야 합니다. 기술적 최적화는 유용한 중간 지점이지 최종 목표가 아닙니다.
• 비용 대비 수익(return on cost) 최적화: 모델이 창출하는 가치는 개발, 훈련 및 모니터링에 드는 비용과 추가되는 운영 복잡성을 정당화해야 합니다. 실행 비용 대비 지속적인 영향을 제공하는 솔루션을 선호하십시오.
• 강력한 기준선(baselines)에 대한 복잡성 정당화: 복잡성은 가정하는 것이 아니라 얻어야 하는 것입니다. 기존의 일반 모델, 간단한 휴리스틱, 상용 솔루션과 같은 강력한 기준선으로 시작하십시오. 더 간단한 옵션이 진정으로 기준을 충족할 수 없을 때만 특수 모델 또는 더 복잡한 아키텍처를 사용하십시오.
• 오프라인 및 온라인 평가 모두 요구: 어떤 모델도 오프라인 검증만으로 광범위하게 배포되거나 A/B 테스트로 바로 넘어가지 않습니다. 모든 모델은 오프라인 및 온라인 평가 모두에서 성능을 발휘해야 합니다. 시간이 지남에 따라 우리의 오프라인 평가는 온라인에서 보는 것을 안정적으로 예측해야 합니다.

Design: building systems that scale beyond the teams that build them

모델을 작동시키는 것은 하나의 도전 과제입니다. 그 가치를 단일 팀이나 사용 사례를 넘어 확장시키는 것이 더 어려운 과제입니다.

• 공유 기반 위에 구축; 정당화될 때만 전문화: 핵심 기능, 데이터 표현 및 모델 구성 요소를 위해 공유된 플랫폼 전체의 기반을 선호하십시오. 전문화는 고립된 스택을 만드는 것이 아니라 이러한 기반 위에 구축되어야 하므로, 기반이 개선될 때 조직 전체에 이점이 확산됩니다.
• 데이터를 우선 제품(first-class product)으로 취급: 모델의 품질은 데이터의 품질에 의해 제한됩니다. 우리는 견고한 파이프라인(robust pipelines), 명확한 계보(clear lineage), 재현성(reproducibility) 및 문서화된 소유권, 명확한 스키마(schemas) 및 다른 팀이 의존할 수 있는 서비스 수준 협약(SLA)으로 구축된 재사용 가능한 기능(reusable features)을 유지해야 합니다.
• 지역 최적화(local optimization)보다 일반성(generality) 우선: 두 가지 접근 방식이 유사하게 작동할 때, 학습, 자산 및 운영 패턴이 팀, 브랜드 및 사용 사례 전반에 걸쳐 재사용될 수 있는 접근 방식을 선호하십시오. 우리는 지역 성능뿐만 아니라 개선 사항이 회사 전체에 얼마나 빨리 확산되고 시간이 지남에 따라 복합적으로 작용할 수 있는지에 대해서도 최적화해야 합니다.
• 수동 비즈니스 규칙(manual business rules) 최소화 및 폐기: 수동 규칙은 정책, 안전 또는 규정 준수를 위해 때때로 필요하지만, 명시적이어야 하고 정기적으로 검토되어야 하며, 약한 모델에 대한 조용한 패치나 영구적인 유지보수 부채(maintenance debt)의 원인이 되어서는 안 됩니다.
• 기본적으로 재현성 및 추적성(reproducibility and traceability): 훈련 데이터, 기능, 구성, 평가 결과, 배포 버전 및 주요 결정은 모두 문서화되고 복구 가능해야 합니다. 이를 통해 몇 달 후에도 프로덕션 문제를 디버깅하고 기관 지식(institutional knowledge)을 잃지 않고 소유권을 인계할 수 있습니다.

Trust: ownership, governance, and operating responsibly at scale

AI 배포의 기준은 단순히 "작동하는가?"가 아닙니다. "우리가 책임질 수 있는가?"입니다. 신뢰는 마지막에 추가하는 것이 아니라 시간이 지남에 따라 얻어지고 우리가 출시하는 모든 모델의 전체 수명 주기 동안 유지됩니다.

• 명확한 소유권 및 책임(clear ownership and accountability) 할당: 모든 모델은 수명 주기 전반에 걸쳐 정의된 소유권이 필요합니다. 비즈니스 소유자, 제품 소유자, AI 소유자 및 운영 소유자입니다. 이들이 네 명의 사람일 필요는 없지만, 책임은 명시적이어야 합니다. 결과에 대한 책임은 누구에게 있습니까? 모델이 드리프트(drifts)되면 누가 대응합니까? 새벽 2시에 발생하는 사고에 누가 답변합니까? 이것이 없으면 모델은 고아(orphaned)가 되고 문제를 소유할 사람이 없어 문제가 발생합니다.
• 표준 및 거버넌스(standards and governance) 준수: AI 및 ML 모델은 승인된 플랫폼을 사용하고 확립된 회사 표준, 릴리스 게이트(release gates) 및 거버넌스 프로세스(governance processes)를 준수해야 합니다. 이러한 안전장치(guardrails) 외부에서 운영하는 것은 개방형 예외가 아니라 개선(remediation) 또는 사용 중단(deprecation)에 대한 명확하고 정의된 경로를 요구합니다.
• 위험에 비례한 거버넌스(govern proportionally to risk): 검토, 평가 엄격성 및 인간 감독의 수준은 모델의 영향에 따라 달라져야 합니다. 수백만 명의 여행자를 위한 가격 또는 가용성에 영향을 미치는 고객 대면 모델은 소규모 팀이 사용하는 내부 도구보다 훨씬 높은 기준을 요구합니다. 높은 영향, 안전에 민감하거나 고도로 자율적인 시스템의 경우, 휴먼 인 더 루프(Human-in-the-loop) 체크포인트가 처음부터 내장됩니다.
• 공정성, 개인 정보 보호 및 투명성(fairness, privacy, and transparency)을 위한 설계: 우리는 의도치 않은 편향(unintended bias)을 적극적으로 테스트하고, 강력한 데이터 안전장치(data guardrails)를 가지며, 결정이 사용자에게 의미 있는 영향을 미칠 때 설명 가능성(explainability)을 선호합니다. 이러한 요소는 처음부터 통합되며 나중에 추가되지 않습니다.
• 안전한 출시, 롤백 및 제어(safe rollout, rollback, and control)를 위한 설계: 배포는 점진적으로 이루어지며, 출시 전에 롤백 경로(rollback paths), 대체 메커니즘(fallback mechanisms) 및 회로 차단기(circuit breakers)가 준비됩니다. 배포를 안전하게 되돌릴 수 있는 능력은 배포를 출시할 수 있는 능력만큼 중요합니다.
• 지속적으로 모니터링하고 적응(monitor continuously and adapt): 일단 라이브 상태가 되면, 팀은 품질, 드리프트, 지연 시간, 비용 및 비즈니스 성과를 적극적으로 모니터링하고 데이터가 변경될 때 재훈련(retrain)하거나 재보정(recalibrate)해야 합니다. 팀은 모델이 출시되었을 때 어떻게 작동했는지뿐만 아니라 지금 어떻게 작동하고 있는지 항상 설명할 수 있어야 합니다.

이러한 원칙은 우리가 구축하는 방법을 정의하는 것 이상을 수행합니다. 이들은 우리가 무엇을 출시할 의향이 있고 어떻게 그것을 책임질 것인지를 정의합니다. AI 시스템이 점점 더 중요해지고 실제 여행자와 파트너를 위해 실제 결정을 내리는 세상에서 이러한 표준은 중요합니다. 일관되게 적용될 때, 이들은 지속 가능한 책임 있는 AI를 구축합니다.

Xavi Amatriain은 Expedia Group의 최고 AI 및 데이터 책임자(Chief AI and Data Officer)입니다.

Xavier는 7월 14일 오전 11시 10분(PT)에 VB Transform 세션에서 Expedia의 아키텍처에 대한 더 자세한 내용을 공유할 예정입니다. 그는 "고위험 트랜잭션 시스템(high-stakes transactional systems)을 위한 자율 에이전트(autonomous agents) 구축을 위한 Expedia의 청사진"에 대해 논의할 것입니다.

VB Transform 2026에 참석하는 데 관심이 있으십니까? 여기에서 등록하십시오.

일부 무료 패스(complimentary passes)는 고위 기술 리더(senior technology leaders)에게도 제공됩니다. 문의하여 받으십시오.

VentureBeat 커뮤니티에 오신 것을 환영합니다! 저희 게스트 게시 프로그램(guest posting program)은 기술 전문가(technical experts)들이 통찰력을 공유하고 AI, 데이터 인프라(data infrastructure), 사이버 보안(cybersecurity) 및 기업(enterprise)의 미래를 형성하는 기타 최첨단 기술(cutting-edge technologies)에 대한 중립적이고 이해관계 없는 심층 분석(neutral, non-vested deep dives)을 제공하는 곳입니다. 저희 게스트 게시 프로그램에 대해 더 읽어보시고, 직접 기사를 기고하는 데 관심이 있으시면 저희 가이드라인을 확인하십시오!

More