(이미지 출처: David Paul Morris/Bloomberg via Getty Images) 뉴스레터 팔로우

주요 기술 기업들은 과도한 AI 사용으로 인한 치솟는 비용을 정당화하는 데 어려움을 겪고 있으며, 마이크로소프트(Microsoft)와 우버(Uber) 같은 주요 기술 기업들조차 AI 프로세스 변경을 검토하고 있습니다. 최근 우버(Uber)의 최고 기술 책임자(CTO) Praveen Neppalli Naga가 회사의 2026년 전체 AI 예산을 불과 몇 달 만에 소진했다는 게시물이 화제가 된 후, 우버(Uber)의 운영 책임자 Andrew Macdonald는 토큰 사용량이 유용한 소비자 기능과 직접적인 상관관계가 없는 것 같다고 말했습니다. 마이크로소프트(Microsoft)는 이달 초 개발자들의 Claude Code 프로그래밍 보조 도구(programming assistant) 접근 권한을 회수하기 시작했으며, 6월 30일까지 내부 Copilot CLI 도구(tool)로 전환할 계획입니다. 이는 자체 개발 도구로 팀을 통합하는 것으로 설명되었지만, 마이크로소프트(Microsoft)의 회계연도(fiscal year) 말과 일치하여 새 회계연도 전에 비용을 절감하려는 움직임이었을 수도 있음을 시사합니다. 설상가상으로, 골드만삭스(Goldman Sachs)는 에이전트형 AI(Agentic AI)의 토큰 사용량이 향후 몇 년 안에 24배 이상 증가할 수 있다고 추정합니다. AI의 필요성, AI에 대한 열망, 그리고 비용이 증가함에 따라 AI 기업들이 실제로 감당할 수 있는 현실 사이에 커지는 괴리가 있는 것으로 보입니다.

토큰과 거래 제안

기업과 최고 경영자(CEO)들이 대규모 AI 배포(deployment)의 실질적인 이점을 찾는 데 어려움을 겪고 있다는 보고를 몇 달 동안 들어왔습니다. 우버(Uber)는 최고 기술 책임자(CTO)의 연간 예산이 불과 몇 달 만에 소진되었다는 충격적인 주장에 이어, 이러한 현실을 깨닫는 순간을 맞이한 최신 AI 활용 적극 추진 기업인 것으로 보입니다. 비즈니스 인사이더(Business Insider)와의 인터뷰에서 Andrew Macdonald는 우버(Uber)가 AI 사용에 투자하는 비용과 실제 소비자 기능 개발 사이에 명확한 상관관계가 없었다고 한탄했습니다. 그는 선임 엔지니어들과 대화한 결과, 더 높은 토큰 사용량과 고객에게 실질적인 이점을 제공하는 소비자 기능의 비례적인 증가 사이에 연관성이 없다고 말했습니다. 그는 더 많은 코드가 배포되고 있었다고 인정했지만, 그것과 소프트웨어(software) 개선 사이에 "연관성을 찾기 매우 어려웠다"고 덧붙였습니다. 한편, 작년 12월 직원들에게 Claude Code 구독을 허용했던 마이크로소프트(Microsoft)는 이제 이를 회수하고 있으며, 이는 많은 이들에게 통합 전략만큼이나 재정적인 움직임으로 비춰집니다. 마이크로소프트(Microsoft)는 또한 올해 초 도구 운영 비용이 급증함에 따라 GitHub의 Copilot을 토큰 기반 과금으로 전환한다고 최근 발표했습니다. 이러한 주요 원인 중 하나는 에이전트형 AI(Agentic AI) 사용의 폭발적인 증가입니다. 이러한 에이전트(agent)는 단일 AI 챗봇(chatbot)보다 1,000배 이상의 토큰을 소모할 수 있습니다.

더 많은 토큰이 정말 해답일까?

엔비디아(Nvidia) 최고 경영자(CEO) 젠슨 황(Jensen Huang)은 올해 3월에 연봉 50만 달러를 받는 엔비디아(Nvidia) 엔지니어가 같은 기간 동안 최소 25만 달러의 토큰을 사용하지 않는다면 우려할 것이라고 유명하게 말했습니다. 하지만 이는 드문 정서가 아닙니다. 많은 기업 최고 경영자(CEO)들은 이제 AI 사용의 규모를 자랑하고 있으며, 마치 그것만으로 성능 향상과 동일시되는 것처럼 말합니다. 비즈니스 인사이더(Business Insider)가 보도한 바와 같이, 에어비앤비(Airbnb)의 최고 경영자(CEO)는 투자자들에게 회사 코드의 60%가 이제 AI가 생성한 것이라고 자랑스럽게 말했습니다. 차임(Chime)은 올해 초 84%의 AI 코드를 배포하고 있다고 주장했으며, 구글(Google)조차 코드의 50%가 AI가 생성한 것이라고 주장합니다(하지만 결정적으로, 항상 인간 엔지니어에 의해 검토됩니다). 그러나 이러한 수치는 우버(Uber)의 수치와 매우 유사하게 들립니다. 최고 기술 책임자(CTO)의 충격적인 예산 초과 보고서에서, 그들은 우버(Uber) 소프트웨어(software) 엔지니어의 80% 이상이 에이전트형 AI(Agentic AI)를 사용하고 있었고, 코드의 60% 이상이 AI가 생성한 것이었다고 주장했습니다. 그럼에도 불구하고, 이는 비용을 감당할 가치가 없습니다. 그리고 안전장치(guardrail)가 제거되면 그 비용은 극심할 수 있습니다. OpenClaw 개발자이자 현재 오픈AI(OpenAI) 직원인 피터 스타인버거(Peter Steinberger)는 최근 그의 세 명으로 구성된 팀이 일련의 에이전트형 AI(Agentic AI) 도구를 실행하면서 한 달 동안 130만 달러 이상의 토큰을 사용했다고 발표했습니다. 이는 AI 비용이 AI가 대체해야 할 인력의 비용을 초과하고 있다는 생각을 더욱 강화합니다. 이는 AI 효율성과 생산성 때문에 발생했다고 주장되는 많은 해고를 점점 더 불안정하게 만들며, 이 기업들이 단순히 바닥을 향해 경쟁하는 것이 아니라면 말입니다. 아니면 적어도 새로운 하드웨어(hardware)를 향해 경쟁하는 것이겠죠. 골드만삭스(Goldman Sachs)의 최근 AI 에이전트(agent) 보고서는 차세대 추론 칩(inferencing chip)에서 오는 막대한 효율성 향상이 AI 사용을 훨씬 저렴하게 만들어 투자가 끊임없이 이어질 수 있게 하고, AI 에이전트(agent)가 AI 기업의 수익을 엄청나게 증가시키면서 이익이 뒤따를 것이라고 시사합니다.

더 빠르고 효율적인 하드웨어는 너무 오래 걸릴 것이다

엔비디아(Nvidia)는 Computex에서 Vera Rubin 플랫폼(platform)을 홍보하고 올해 말 공식 출시할 예정입니다. 이 플랫폼(platform)은 AI 성능을 몇 배 향상시키고, 새로운 공정 노드(process node)를 사용하며, 와트(watt)당 최대 10배의 성능을 제공하여 이전 제품보다 훨씬 더 효율적일 것으로 알려졌습니다. 이러한 막대한 이점은 이 카드들을 먼저 배포하는 AI 기업들에게 여전히 Blackwell 하드웨어(hardware)를 사용하는 기업들보다 엄청난 이점을 제공할 것이며, 구형 Hopper 설계보다 훨씬 더 큰 이점을 줄 것입니다. 그러나 Blackwell 하드웨어(hardware)를 염두에 두고 발표된 데이터 센터(data center) 프로젝트의 50% 이상이 취소되거나 지연되었으며, 내년에 완료되는 프로젝트 중 개발자들이 이제 막 시작한 GPU(Graphics Processing Unit)를 교체하는 데 얼마나 적극적일까요? 2025년 말, 구글(Google), 오라클(Oracle), 마이크로소프트(Microsoft)는 모두 하드웨어(hardware) 계획을 완전히 다른 방향으로 조정하여, 교체하기 전에 6년 동안 사용할 것이라고 시사했습니다. 이는 야심찬 AI 계획과 매년 이루어지는 하드웨어(hardware) 도약과 조화시키기 불가능해 보입니다.

덜 효율적인 하드웨어에서 더 많은 토큰

현실은 일부 토큰 비용이 하락하고 있음에도 불구하고, 에이전트형 AI(Agentic AI) 요구 사항의 폭발적인 증가는 효과적인 배포에 도달하기까지 수년이 걸리는 하드웨어(hardware) 효율성 향상으로 상쇄될 수 없으며, AI 수요의 이러한 급증을 따라잡는 데 필요한 규모에 도달할 수 있을지조차 불확실하다는 것입니다. 이는 단기적으로 마이크로소프트(Microsoft)와 우버(Uber) 같은 주요 기업들조차 예산을 파괴하지 않고 대규모로 AI를 계속 사용하는 방법을 알아내기 위해 AI 사용 방식을 재조정하고 있다는 것을 의미합니다. 만약 이 기업들이 AI 비용을 감당하는 방법을 알아내지 못한다면, 나머지 우리들이 어떻게 감당할 수 있을지 상상하기는 점점 더 어려워집니다. 그리고 비용 증가로 인해 사용량이 감소한다면, AI 기업들은 여전히 정당화하려고 노력하고 있는 막대한 인프라(infrastructure) 지출을 상쇄하는 데 필요한 단기적인 이익을 결코 찾을 수 없을 것입니다.

TOPICS 프리랜서 작가 Jon Martindale은 Tom's Hardware의 기고 작가입니다. 지난 20년 동안 그는 PC 부품, 신흥 기술 및 최신 소프트웨어(software) 발전에 대해 글을 써왔습니다. 그의 깊고 폭넓은 저널리즘 경험은 그에게 오늘날과 미래의 가장 흥미로운 기술 트렌드에 대한 독특한 통찰력을 제공합니다.