“바꿔야 할 소프트웨어는 없다”…앤트로픽 안전 연구 석 달이 남긴 것

앤트로픽이 석 달 사이에 안전 연구 결과를 세 번 내놨습니다. 7월 28일 암호 분석, 8월 7일 생물학 안전장치, 8월 28일 정렬 자동화입니다.

각각은 다른 소식으로 보도됐습니다. 그런데 셋을 나란히 놓으면 같은 모양이 나옵니다.

세 건 모두 AI 쪽은 싸고 빨랐고, 검증 쪽은 비싸고 느렸습니다. 그리고 셋 다 그 검증을 한 곳이 앤트로픽 자신입니다.

HAWK는 후보였고, AES는 7라운드였다

7월 28일 앤트로픽 프론티어 레드팀이 클로드 미토스가 암호 알고리즘 두 곳에서 새 약점을 찾았다고 발표했습니다.

하나는 'HAWK'입니다. 미국 국립표준기술연구소(NIST)가 진행한 양자내성 전자서명 표준화의 3라운드 후보였습니다. 표준 후보였지 실제로 쓰이던 것은 아닙니다.

미토스는 HAWK가 쓰는 격자 구조 안의 특정 대칭성을 찾아냈습니다. 작은 크기인 HAWK-256 기준으로 키 복구 비용이 2의 64승에서 2의 38승으로 떨어집니다.

다른 하나는 AES인데 여기서 오해가 생깁니다. 전체 10라운드가 아니라 7라운드로 줄인 축소판이 대상이었습니다.

그 축소판에 대한 기존 최고 공격보다 200~800배 빠른 방법을 찾았습니다. 온전한 AES는 영향을 받지 않습니다.

앤트로픽은 이번 결과 두 건이 현재 쓰이는 컴퓨터 시스템에 실질적 영향을 주지 않으며, 바꿔야 할 상용 소프트웨어는 없다고 못 박았습니다.

눈에 걸리는 건 시간과 비용입니다. HAWK 쪽은 미토스가 대체로 자율적으로 약 60시간 만에 진행했고, AES 쪽은 연구자가 틀을 만들어 두자 거의 전적으로 자율적으로 발견했습니다.

반면 연구자들은 모델의 주장을 검증할 수 있을 만큼 암호학을 배우는 데 수백 시간을 썼습니다. 발견 하나당 API 사용료는 약 10만 달러였습니다.

앤트로픽은 6월에 HAWK 개발자들과 공격 내용을 공유하고, NIST 공개 메일링 리스트를 통해 조율된 공개 절차를 밟았습니다.

조이는 게 아니라 푸는 쪽이었다

8월 7일 발표는 방향이 반대였습니다. 조이는 게 아니라 푸는 쪽입니다.

클로드 페이블 5에는 안전 분류기가 붙어 있었습니다. 생물학 관련 요청이 걸리면 그 질문을 페이블 5가 아니라 생물학 능력이 낮은 오퍼스 5로 넘겨 답하게 하는 방식이고, 앤트로픽은 이를 '폴백'이라고 부릅니다.

문제는 그물이 너무 넓었다는 것입니다. 검사 수치를 읽어 달라거나 증상을 묻거나 공부하려고 물어본 것까지 함께 걸렸습니다.

분류기 규칙을 다시 써서 자체 테스트 기준 생물학 관련 폴백이 약 85% 줄었습니다. 전체 폴백도 함께 줄 것으로 내다봤는데, Claude.ai 약 67%, 코워크 55%, 클로드 코드 17%, 클로드 플랫폼 7%입니다.

왜 처음부터 그렇게 넓게 막았을까요?

앤트로픽은 일부러 그랬다고 밝혔습니다. 페이블 5가 일부 고난도 생물학 과제에서 전문가를 넘어서는데, 이 분야는 좋은 쓰임과 나쁜 쓰임을 가르는 선이 흐리기 때문입니다.

생백신이 예로 나옵니다. 막으려는 병원체를 실제로 배양해야 만들 수 있습니다.

다 막고 시작해 하나씩 여는 순서였고, 반대로 했다면 모델 공개가 몇 주에서 몇 달 늦어졌을 것이라고 설명했습니다.

다 푼 것은 아닙니다. 이중용도로 분류하는 요청은 지금도 오퍼스 5로 넘어갑니다. 바이러스학과 독성학, 분자설계가 예로 명시됐고, 전문 생물학 연구나 신약 개발 용도로는 아직 못 쓴다고 앤트로픽이 직접 적었습니다.

85%를 포함한 감소율은 앤트로픽이 테스트에서 직접 잰 값입니다. 앤트로픽은 규칙 개정에 내외부 전문가의 의견을 구했다고 밝혔지만, 외부가 검증한 감소율은 발표문에 나와 있지 않습니다.

AI가 AI의 정렬을 고쳤다

8월 28일에는 자동화된 연구자가 정렬 실패를 완화할 수 있는지 실험한 논문이 앤트로픽 정렬 과학 블로그에 올라왔습니다. 앤트로픽 펠로우 프로그램에서 진행한 연구입니다.

정렬은 AI가 사람의 의도와 가치에 맞게 행동하도록 만드는 일입니다. 그 일을 AI에게 시켜본 실험이고, 시스템 이름은 '자동화된 AI 정렬 연구자(AAR)'입니다.

작동 방식은 특별하지 않습니다. 사람 연구자의 방법론을 그대로 흉내 냅니다.

기존 문헌을 검색하고 방법론을 제안하고 30분간 모델을 훈련시키는 과정을 여러 번 반복하며 효과적인 방법만 남깁니다. 다른 점은 속도와 규모입니다.

결과는 열 가지 정렬 실패 모두에서 소형 AI 모델의 정렬 성능이 개선됐고, 일반 성능은 유지됐습니다.

최고 성능의 AAR은 평균 6시간 만에 숙련된 사람 연구자의 제안을 넘어섰습니다. 다만 사람 연구자들은 아이디어를 고쳐 가며 다듬을 수 없었다고 논문이 단서를 달았습니다.

격차가 더 큰 쪽은 비용입니다. AAR의 API 추론 비용은 시간당 약 4달러인 반면 사람 연구자는 150달러 수준으로, 약 37배 차이였습니다.

연구진은 선을 그었습니다. 벤치마크와 참고 문헌을 계속 관리해야 해서 자동화가 만능은 아니라는 것입니다. 무엇을 기준으로 평가할지, 무엇을 읽힐지는 사람이 정해야 한다는 뜻입니다.

만드는 쪽은 싸지고, 확인하는 쪽은 그대로

따로 보면 암호와 생물학과 정렬은 남남입니다. 겹쳐 놓으면 숫자의 모양이 같습니다.

암호에서 AI는 60시간에 찾았고 사람은 검증할 실력을 갖추는 데만 수백 시간을 썼습니다. 정렬에서 AI는 시간당 4달러, 사람은 150달러였습니다. 생물학에서는 분류기를 다시 쓰는 데 몇 주가 걸렸고, 그 결과를 잰 것도 회사 자신이었습니다.

세 건 모두 만드는 쪽은 싸고 빨라졌는데 확인하는 쪽은 그대로입니다. 값이 떨어진 자리와 떨어지지 않은 자리.

검증 주체도 같습니다. 암호 쪽은 조율된 공개 절차를 밟았고 NIST 표준화라는 외부 장치가 작동했지만, 생물학 85%는 자체 테스트였고 정렬 논문의 벤치마크도 앤트로픽이 골랐습니다.

회사가 스스로 열고 스스로 재고 스스로 발표하는 구조입니다. 그래서 이 석 달을 어떻게 읽어야 할까요?

암호 쪽은 방어에 좋은 소식으로 보입니다. 사람이 오래 들여다본 표준 후보에서 AI가 새 약점을 찾았고, 실제로 쓰이기 전에 걸러졌으니까요. 표준화 과정이 이런 걸 잡으려고 있는 절차라 이번엔 그 절차가 작동한 사례입니다.

다만 같은 능력이 이미 쓰이고 있는 것으로 향할 수도 있습니다. 그때도 60시간 만에 찾아낼 텐데, 검증할 사람이 수백 시간을 들여야 하는 구조는 그대로입니다.

생물학 쪽에서는 AI 회사가 안전장치를 조이는 발표만 하는 게 아니라는 걸 확인했습니다. 너무 조였다고 판단하면 푸는 발표도 합니다. 다만 어디를 풀고 어디를 잠글지 정하는 것은 여전히 회사 쪽입니다.

개인이 당장 할 일은 없습니다. 발표문에 적힌 그대로 바꿔야 할 소프트웨어는 없습니다. 다만 AI가 내놓은 결과를 누가 어떤 비용으로 확인하느냐는 질문은 이 석 달 내내 같은 자리에 있었습니다.