Apple과 Google은 모두 CSAM(아동 성착취물)을 포함하는 앱을 명시적으로 금지하고 있으며, CSAM은 많은 국가에서 호스팅 및 배포가 불법입니다. 이들 거대 기술 기업들은 또한 음란물을 포함하거나 괴롭힘을 조장하는 앱을 금지합니다. Apple App Store는 "노골적인 성적 또는 음란물"뿐만 아니라 "명예 훼손, 차별적 또는 악의적인 콘텐츠"를 허용하지 않는다고 명시하고 있으며, 특히 앱이 "특정 개인이나 집단을 모욕하거나 위협하거나 해를 끼칠 가능성이 있는 경우" 더욱 그렇습니다. Google Play 스토어는 "성적으로 약탈적인 행동과 관련된 콘텐츠를 포함하거나 홍보하거나, 비동의 성적 콘텐츠를 배포하는" 앱뿐만 아니라 "위협, 괴롭힘 또는 따돌림을 포함하거나 조장하는" 프로그램을 금지합니다.

지난 2년 동안 Apple과 Google은 BBC와 404 Media의 조사 결과, "누디파이(nudify)" 및 AI(인공지능) 이미지 생성 앱들이 일반 사진을 여성의 동의 없이 노골적인 이미지로 효과적으로 변환하는 데 광고되거나 사용되고 있다는 사실이 밝혀진 후, 여러 앱을 삭제했습니다. 그러나 이 기사가 발행될 당시, X 앱과 독립형 Grok 앱은 두 앱 스토어 모두에서 여전히 이용 가능합니다. Apple, Google, X는 논평 요청에 응답하지 않았습니다. Grok은 머스크의 수십억 달러 규모 AI(인공지능) 스타트업 xAI가 운영하며, xAI 또한 WIRED의 질문에 응답하지 않았습니다. 1월 3일 발표된 공개 성명에서 X는 CSAM을 포함한 불법 콘텐츠에 대해 플랫폼에서 조치를 취한다고 밝혔습니다. 회사는 "Grok을 사용하여 불법 콘텐츠를 만들거나 프롬프트하는 사람은 불법 콘텐츠를 업로드하는 것과 동일한 결과를 겪을 것"이라고 경고했습니다. 비동의 성적 콘텐츠의 확산을 방지하는 방법을 조직에 교육하는 EndTAB의 교육 및 훈련 책임자인 Sloan Thompson은 Apple과 Google 같은 회사들이 X와 Grok에 대해 조치를 취하는 것이 "전적으로 적절하다"고 말합니다.

지난 2주 동안 Grok이 X에서 생성한 비동의 노골적 이미지의 양이 폭발적으로 증가했습니다. 한 연구원은 블룸버그에 1월 5일과 6일 사이 24시간 동안 Grok이 "성적으로 암시적이거나 누디파이(nudifying)"한 것으로 식별된 이미지를 시간당 약 6,700개씩 생성했다고 말했습니다. 또 다른 분석가는 12월 31일 두 시간 동안 Grok이 X에서 생성한 15,000개 이상의 이미지 URL을 수집했습니다. WIRED는 이미지의 약 3분의 1을 검토했으며, 그 중 많은 이미지가 노출이 심한 옷을 입은 여성을 특징으로 한다는 것을 발견했습니다. 2,500개 이상은 일주일 이내에 더 이상 사용할 수 없는 것으로 표시되었고, 거의 500개는 "연령 제한 성인 콘텐츠"로 분류되었습니다.

이번 주 초, 유럽 연합(EU)의 집행 기관인 유럽 위원회(European Commission) 대변인은 Grok이 X에서 생성하는 성적으로 노골적이고 비동의적인 이미지를 "불법"이자 "끔찍하다"고 공개적으로 비난하며, 로이터 통신에 그러한 콘텐츠는 "유럽에 설 자리가 없다"고 말했습니다. 목요일에 EU는 X에게 Grok과 관련된 모든 내부 문서와 데이터를 2026년 말까지 보존하도록 명령했으며, 이는 이전 보존 지침을 연장한 것으로, 새로운 공식 조사가 아직 발표되지 않았음에도 불구하고 당국이 EU의 디지털 서비스법(Digital Services Act) 준수와 관련된 자료에 접근할 수 있도록 보장하기 위함입니다. 영국, 인도, 말레이시아를 포함한 다른 국가의 규제 당국도 해당 소셜 미디어 플랫폼을 조사하고 있다고 밝혔습니다.

Grok과 X는 온라인에서 "누디파이(nudify)" 서비스를 판매하는 수백만 달러 규모 산업의 일부입니다. 지난 몇 년 동안, 여성의 동의 없이 디지털 방식으로 옷을 벗기는 것을 약속하는 수십 개의 독립형 앱과 웹사이트가 등장했으며, 이들은 종종 무해한 신기한 도구로 자신을 마케팅하면서 이미지 기반 성적 학대를 가능하게 합니다. 주류 AI(인공지능) 회사들도 자신들의 도구가 비동의 성적 이미지를 생성하는 데 사용되는 것을 막기 위해 고군분투해 왔습니다. 예를 들어, WIRED는 지난달 사람들이 Google과 OpenAI의 생성형 AI(인공지능) 챗봇인 Gemini와 ChatGPT가 여성의 사진을 비키니나 다른 노출이 심한 옷을 입은 모습으로 변경하도록 하는 방법에 대한 팁을 온라인에서 공유하고 있다고 보도했습니다.

미국 및 다른 국가의 입법자들은 비동의 AI(인공지능) 딥페이크에 대한 단속을 시작했습니다. 작년에 도널드 트럼프 대통령은 비동의 성적 이미지를 고의로 게시하거나 호스팅하는 것을 연방 범죄로 규정하는 TAKE IT DOWN Act에 서명했습니다. 그러나 Thompson은 이 법이 기업들이 피해자가 나서기로 선택한 후에야 삭제 절차를 시작하도록 요구된다는 사실에 의해 제한된다고 말합니다. Thompson은 "사기업들은 사안에 신속하게 대응하는 데 훨씬 더 많은 재량권을 가지고 있습니다"라고 말합니다. "이미지 기반 학대를 다루는 다른 도구들에 대해 이야기할 때—소송은 시간이 걸리고, 법이 통과되는 데도 시간이 걸립니다. 특히 지금처럼 기술이 맹렬한 속도로 시장에 출시될 때는 더욱 그렇습니다. 법이 같은 속도로 통과되기는 매우, 매우 어렵습니다."

전자 프론티어 재단(Electronic Frontier Foundation)의 시민 자유 담당 이사인 David Greene은 앱 스토어에서 전체 플랫폼을 제거하는 아이디어에 대해 사람들이 신중해야 한다고 말합니다. 그는 X와 xAI 모두 이 문제를 스스로 해결할 수 있는 힘을 가지고 있다고 강조합니다. Greene은 머스크의 회사들이 사용자들이 딥페이크 및 다른 종류의 성적 이미지를 생성하는 것을 막기 위해 더 나은 기술적 안전장치를 마련할 수 있다고 주장합니다. 그는 "완벽한 해결책은 아닐지라도, 적어도 과정에 약간의 마찰을 더할 수 있을 것"이라고 덧붙입니다. Thompson은 X와 xAI 같은 회사들이 애초에 이러한 종류의 사진과 비디오가 생성되는 것을 막기 위해 더 많은 대중의 압력을 받아야 한다는 데 동의합니다. 그녀는 "바로 그 지점에서 개입이 필요하다고 생각합니다"라고 말합니다.