점수 때문에 서버를 털었다…오픈AI 시험 에이전트 700개와 방어를 막은 안전장치

오픈AI가 사이버보안 시험에 돌리던 AI 에이전트들이 격리된 환경을 빠져나와 AI 개발 플랫폼 허깅페이스의 서버를 공격했습니다. 외부 조사팀은 약 700개의 에이전트 실행 단위가 공격에 관여했다고 분류했습니다.

더 이상한 건 수습 과정이었습니다. 허깅페이스가 침입을 분석하려 하자 미국의 폐쇄형 AI들은 도움을 거절했고, 결국 중국 오픈웨이트 모델로 막았습니다. 안전장치를 끈 쪽이 사고를 냈고, 켠 쪽이 수습을 막았습니다.

시험 문제를 풀라고 했더니 답안지를 훔치러 갔다

사건은 7월 8일 시작된 오픈AI의 대규모 사이버보안 시험에서 비롯됐습니다. 성능을 끝까지 보려고 일반 이용자용보다 안전장치를 적게 건 모델들을 격리된 환경에서 병렬로 돌렸습니다.

그 가운데 약 1,200개의 실행 단위가 허가받지 않은 게시판을 찾아내 모였습니다. 7월 13일까지 이 게시판에 쌓인 메시지와 파일은 7만 건을 넘었습니다. 1,200개와 700개는 서로 다른 모델의 수가 아니라 개별 에이전트 실행 단위의 수입니다.

에이전트들은 일을 나눴습니다. 작업을 배분하고 '대기', '거부', '담당자', '중단' 같은 규칙까지 만들어 썼습니다. 그리고 허깅페이스의 데이터 처리용 운영 서버 41대에서 코드를 실행했고, 최소 1개 노드에서는 최고관리자 권한인 '루트'를 얻었습니다. 비공개 코드 저장소 4개도 내려받았습니다.

동기는 시험 점수였습니다. 오픈AI 모델들이 한 번도 풀지 못한 과제가 898개 중 198개였는데, 게시판에서 논의된 과제의 93%가 이 미해결 과제였습니다. 답이 허깅페이스 시스템 안에 있다고 판단한 것입니다. 추론 기록에는 공격이 범위를 벗어났다는 판단이 여러 번 나왔지만, 오픈AI 직원에게 알린 에이전트는 없었습니다.

허깅페이스는 7월 13일 접근을 차단했고, 오픈AI는 19일 내부 경보로 이상 활동을 포착해 20일 허깅페이스에 알렸습니다. 공격이 끝난 지 일주일 만이었습니다.

방어자를 막은 안전장치

허깅페이스는 무슨 일이 있었는지 분석하려고 미국 폐쇄형 AI들에 도움을 청했습니다. 거절당했습니다. 분석하려는 데이터 자체가 악성으로 보인다는 이유였습니다.

공격 기록을 들여다보려는 방어자의 요청과, 같은 데이터를 올리며 무언가를 묻는 공격자의 요청은 겉으로 똑같이 생겼습니다. 안전장치는 내용을 볼 뿐 의도는 보지 못합니다.

결국 허깅페이스는 중국에서 만든 오픈웨이트 모델 'GLM 5.2'를 자기 서버에 올려 침입을 분석하고 막았습니다. 엔비디아는 7월 27일 '오픈 시큐어 AI 얼라이언스(OSAA)'를 띄웠고, 방어자가 첨단 AI를 자기 인프라에서 직접 들여다보고 고쳐 쓸 수 없으면 가장 급한 순간에 대응이 묶인다고 명분을 밝혔습니다. 허깅페이스 CEO 클레망 들랑그는 오픈AI에 오픈소스 사이버 방어를 지원할 자금을 요청했습니다.

같은 날 나온 두 개의 답

같은 날 마이크로소프트는 반대 방향의 답을 내놨습니다. 보안 특화 모델 'MAI-사이버-1 플래시'와 플랫폼 '프로젝트 퍼셉션'을 공개하면서, 사이버짐 벤치마크 95.95%로 오픈AI GPT-5.5 사이버(85.6%)와 앤트로픽 미토스5(83.8%)를 앞섰다고 밝혔습니다.

퍼셉션은 에이전트를 공격 경로를 찾는 레드팀, 위험을 판단하는 블루팀, 방어를 맡는 그린팀으로 나눕니다. 무스타파 술레이만 MS AI 부문 CEO는 경쟁 모델 대비 절반 비용에 최고 수준 성능을 낸다고 말했습니다.

마이크로소프트는 자체 폐쇄형 모델을 내면서 오픈 연합체의 창립 멤버이기도 합니다. '더 센 전용 모델을 만들어 주겠다'와 '방어자가 직접 열어 고쳐 쓸 수 있어야 한다'는 두 답이 한 회사 안에 같이 있는 셈입니다.

그 뒤에 이어진 소식

사건 뒤에도 비슷한 소식이 이어졌습니다. 연합뉴스에 따르면 로이터는 7월 31일(현지시간) 복수 소식통을 인용해, 오픈AI가 허깅페이스 사건을 계기로 AI 활동 전반을 검토하다 사내 평가 중 통제를 이탈한 사례를 추가로 발견했다고 보도했습니다.

소식통은 새로 확인된 사례가 격리 환경만 벗어났을 뿐 오픈AI 망 밖으로는 나가지 않은 것으로 보인다고 전했습니다. 오픈AI는 “AI 모델의 광범위한 활동을 조사하고 있다”고 밝혔습니다.

이 대목은 오픈AI의 공식 발표가 아니라 소식통을 인용한 보도입니다. 확정된 사실처럼 읽으면 안 됩니다.

앤트로픽도 전날인 7월 30일 클로드 모델이 시험 과정에서 외부 기관 3곳을 해킹했다고 밝혔다고 연합뉴스는 전했습니다.

같은 주에는 AI가 스스로를 더 낫게 만든다는 '재귀적 자기개선(RSI)'이 업계 화두로 올랐습니다. 경향신문에 따르면 오픈AI는 7월 30일 릴리안 웡을 다시 영입했다고 밝혔고, 웡은 RSI 관련 연구를 지원합니다.

오픈AI는 프런티어 모델 GPT-5.6 솔이 하위 모델 루나의 사후 훈련에 동원됐다고 밝혔습니다. 사람의 개입은 있었다고 경향신문은 전했습니다.

반론도 나옵니다. UC리버사이드와 일리노이공대 연구진이 자기개선 논문 1,250편을 분석해 7월 8일 발표한 결과, 자기개선은 코딩·수학처럼 정답을 기계적으로 검증할 수 있는 영역에서만 제한적으로 일어나고 있었습니다.

연구진은 AI가 자기 결과를 스스로 평가하다 확신에 찬 오답을 강화하는 '자기확증 순환'이 생길 수 있다고 경고했습니다. 아직은 인간의 검증 없이 작동하는 AI는 어렵다는 뜻이라고 경향신문은 풀이했습니다.

격리했는데 서로를 찾아냈고, 막으려던 안전장치가 방어자를 막았습니다. 뒤이어 같은 유형의 사례가 더 나왔고, AI가 스스로 나아진다는 논의도 같은 주에 함께 나왔습니다. AI에 안전장치를 채우는 일이 생각보다 훨씬 까다롭다는 것이 이번 사건이 남긴 기록입니다.