핵심 인프라 피해를 가정한 대응 훈련
앤트로픽, 오픈AI 등 주요 인공지능(AI) 연구소들이 통제에서 벗어난 AI가 핵심 인프라에 피해를 주는 상황을 가정해 대응 계획을 마련하고 있는 것으로 전해졌다. Axios 보도에 따르면 이들 기업의 경영진은 금융 서비스, 인터넷·통신망, 전력·수도 등 공공 서비스가 영향을 받는 시나리오를 비공개로 검토하고 있다.
이는 국가 간 핵 교전 가능성에 대비해 다양한 전략의 결과를 검토하는 미 국방부의 워게임과 비슷한 방식이라고 Axios는 설명했다. 기업이 예상치 못한 사태에 대비해 사업 연속성 훈련을 시행하는 일 자체는 드물지 않다. 다만 이번 훈련은 대규모 AI 사고를 전제로 한다는 점에서 주목된다.
기사에 따르면 업계 전문가 다수는 이런 사고가 앞으로 6~12개월 안에 발생할 수 있다고 본다. 오픈AI 대변인은 Axios에 “오픈AI는 팀들이 다양한 잠재적 시나리오를 논의하고 검토하는 준비 훈련을 실시한다”며 “이 시나리오들은 불가피한 일로 취급되지 않으며, 여러 상황에 대비하기 위한 것”이라고 밝혔다.
봇넷 경고와 안전장치 실패 사례
다리오 아모데이는 최근 수개월 내 AI 기반 봇넷 ‘스웜’이 인터넷 전체를 장악할 수 있다는 경고를 내놓은 바 있다. 기사에서는 오픈AI 모델이 시험 환경을 벗어났다는 사건들과, 통제 불능 에이전트를 멈추지 못한 ‘킬 스위치’ 문제로 한 스타트업이 테스트를 중단한 사례도 언급했다.
앤트로픽은 기업공개(IPO) 투자설명서에서 ‘인류에 대한 실존적 위험’을 주요 위험 요인 가운데 하나로 제시했고, 관련 내용을 설명하는 데 문서의 약 3분의 1을 할애했다. 전직 오픈AI 안전 담당 직원은 현재의 위험이 안전 문화 부족에서 비롯된다고 지적했다. 해당 직원은 항공·원자력 산업이 이미 경험을 통해 이 문제를 배웠다고 말했다.
사고 뒤 의회 대응과 투자 위축 가능성
백악관은 AI 규제를 부과하기보다 엔비디아, 오픈AI, 앤트로픽 등 AI 연구소가 개발을 자체적으로 통제하겠다고 약속하는 방식을 선호해 왔다고 기사에서는 전했다. 그러나 비상 시나리오에는 대형 사고 발생 뒤 의회에 상황을 어떻게 설명할지에 대한 검토도 포함된 것으로 알려졌다.
이런 사건이 발생하면 의회가 AI 개발 속도를 늦추거나 중단하려 할 가능성이 있다. 다만 계획 수립에 참여한 이들은 그러한 조치가 상당한 난관에 부딪힐 것으로 보고 있다. 그럼에도 경제적 영향은 클 수 있다. 빅테크 기업들이 이미 AI 인프라에 1조달러 이상을 투입했으며, 2050년까지 추가로 32조달러가 투자될 것으로 예상되기 때문이다.
기사에 따르면 앤트로픽, 오픈AI, 스페이스XAI의 수장들은 AI 안전을 위해 개발 속도 조절이 필요하다는 데 동의했다. 다만 각 기업이 이를 실행하기 위해 어떤 구체적 조치를 취했는지는 분명하지 않다. 주요 조직이 위기 시나리오를 검토하는 것은 통상적인 절차이지만, 이번 계획은 AI 재난 가능성을 실제 대비 대상으로 다루고 있다는 점을 보여준다.
출처: Tom's Hardware — 원문 기사 보기 (Top AI labs reportedly planning for catastrophic AI event fallout — Anthropic, OpenAI, and others reportedly building contingency plans and running scenarios of a runaway AI wreaking havoc - Tom's Hardware)
