AI 모델은 방대한 지식을 담고 있는데, 그중 일부는 좋은 목적과 나쁜 목적 모두에 쓰일 수 있는 '이중 용도(dual-use)' 지식입니다. 2026년 7월 8일 앤트로픽은 AE 스튜디오와 함께 진행한 연구를 통해, 이런 위험한 지식만 골라 모델에서 켜고 끌 수 있게 하는 새로운 방법인 'GRAM'을 공개했습니다. 아직 실험 단계의 연구이지만, 개념과 실험 결과를 초보자도 이해할 수 있게 정리했습니다.
🟢 현행 모델 라인업 일치 · 모델 안내 · Fable 구독 안내
Fable 5·5.1 구독 안내(2026년 9월 7일 갱신): 2026년 9월 1일 출시된 Claude Fable 5.1이 현행 Fable 모델이고, Fable 5는 레거시로 전환됐습니다. 구독 조건은 두 모델이 같습니다 — Max·Team Premium 플랜은 주간 사용 한도의 50% 범위에서 포함되고, Pro·Team Standard 플랜은 사용량 크레딧(입력 100만 토큰당
먼저 용어부터 가볍게 풀어볼게요
- 이중 용도(dual-use) 지식 — 좋은 일과 나쁜 일 모두에 쓰일 수 있는 지식입니다. 예를 들어 사이버보안 지식은 보안 취약점을 고치는 데도, 그 취약점을 악용하는 데도 쓰일 수 있습니다.
- 사전학습(pretraining) — AI 모델이 인터넷 등의 방대한 텍스트로 처음 지식을 익히는 학습 단계입니다.
- 트랜스포머(Transformer) — 오늘날 대부분의 대형 언어 모델(챗봇 AI)이 기반으로 삼는 신경망 구조입니다.
- 파라미터(가중치, parameter/weight) — 모델이 학습 과정에서 조정하는 내부 수치입니다. 이 값들의 조합이 곧 모델이 알고 있는 지식이라고 볼 수 있습니다.
- GRAM(Gradient-Routed Auxiliary Modules) — 이번에 소개된 방법의 이름으로, 직역하면 '경사(학습 신호)를 갈래지어 보내는 보조 모듈'입니다. 이 글에서는 그대로 'GRAM'이라고 부릅니다.
- 언러닝(unlearning) — 이미 학습을 마친 모델에서 특정 지식을 나중에 지우려고 시도하는 후처리 기법입니다.
- 파인튜닝(fine-tuning) — 이미 학습된 모델을 적은 양의 추가 데이터로 다시 조정하는 과정입니다.
지금의 안전장치는 무엇이 부족할까요
현재 AI 회사들은 위험한 요청을 거절하도록 모델을 훈련하고(거절 훈련), 입력과 출력을 검사하는 별도의 감시 프로그램(분류기, classifier)을 함께 사용해 위험한 답변을 걸러냅니다. 문서에 따르면 이런 장치들은 위험한 '출력'을 막아줄 뿐, 모델 내부에 저장된 지식 자체를 바꾸지는 못합니다. 그래서 마음먹고 방어를 우회하려는 사람(탈옥, jailbreak 시도)이 있다면, 모델 안에 있는 이중 용도 지식에 결국 접근할 위험이 남습니다.
기존 대안: 아예 가르치지 않는 '필터링'의 한계
더 근본적인 방법은 모델이 애초에 그 지식을 '모르게' 만드는 것입니다. 앤트로픽은 이전 연구에서 화학·생물·방사능·핵무기(CBRN) 관련 정보를 사전학습 데이터에서 걸러내는(필터링) 방식을 시도했고, 이후에는 이중 용도 지식을 모델 가중치의 일부인 '떼어낼 수 있는 조각'에 가둘 수 있다는 것도 보여준 바 있습니다.
다만 필터링에는 한계가 있습니다. 공식 발표에 따르면 필터링은 하나의 고정된 능력만 가진 모델 하나를 만들어낼 뿐입니다. 예를 들어 검증된 생물보안 연구실에는 고급 바이러스학 지식을 제공하고, 그 외에는 제공하지 않는 두 가지 버전을 만들고 싶다면 처음부터 별도로 두 모델을 통째로 학습시켜야 합니다. 특히 몸집이 크고 학습 비용이 막대한 최신 모델(프론티어 모델)에서는 이런 방식의 비용이 감당하기 어려운 수준이 됩니다.
새로운 시도: GRAM(Gradient-Routed Auxiliary Modules)
이번에 AE 스튜디오와 함께 진행한 연구는, 여러 개의 필터링된 모델을 따로따로 학습시키는 것과 같은 효과를 딱 한 번의 학습만으로 얻으려는 시도입니다. 서랍이 달린 책상에 비유하면 이해하기 쉽습니다. 책상 몸체(모델의 공통 지식)는 하나만 만들고, 위험할 수 있는 지식별로 서랍(모듈)을 따로 달아 두는 것입니다. 필요 없는 서랍은 통째로 빼버리면 되고, 신뢰할 수 있는 곳에는 서랍을 그대로 남겨두면 됩니다.
작동 원리를 단계별로 보면
- 트랜스포머의 각 층(layer)에 추가 뉴런(신경망의 계산 단위)을 덧붙이고, 이 뉴런들을 이중 용도 지식 범주별로 그룹(모듈)으로 나눕니다.
- 모델이 일반적인 텍스트를 학습할 때는 평소처럼 전체 가중치가 업데이트됩니다.
- 모델이 이중 용도 범주에 해당하는 텍스트(예: 바이러스학 관련 자료)를 학습할 때는 규칙이 바뀝니다. 모델은 기존에 가진 일반 지식을 활용해 예측은 하지만, 그 텍스트로부터 실제로 배우는 것은 해당 모듈뿐입니다. 이때 일반 목적의 가중치는 일시적으로 '고정(freeze)'되어 바뀌지 않습니다.
- 그 결과 바이러스학 지식은 전체 신경망에 퍼지지 않고 바이러스학 모듈에만 쌓입니다.
- 학습이 끝나면 그 모듈을 통째로 삭제해 해당 능력을 없앨 수도 있고, 바이러스학 지식이 필요한 신뢰된 배포 환경(예: 검증된 연구실)에서는 모듈을 그대로 남겨둘 수도 있습니다.
실험에서는 이중 용도 범주를 4개로 정의했는데, 이렇게 하면 한 번의 학습만으로도 각 범주를 켜고 끄는 조합에 따라 총 16가지 버전(2의 4제곱)으로 모델을 구성할 수 있었다고 밝혔습니다.
세 단계 실험에서 무엇을 확인했을까요
- 동화 데이터로 한 소규모 테스트 — 주제별로 태그를 붙인 동화 데이터셋으로 작은 GRAM 모델을 학습시킨 뒤, 원하는 주제를 골라 '잊게' 만들 수 있는지 확인했습니다. 그 결과 각 설정은 해당 주제를 아예 빼고 처음부터 새로 학습시킨 별도 모델과 거의 같은 성능을 보였습니다. 모델 하나를 학습시킨 비용으로, 원래는 데이터셋을 바꿔가며 여러 번 학습해야 얻을 수 있는 결과를 얻은 셈입니다.
- 더 현실적인 대규모 테스트 — 웹 텍스트, 코드, 과학 논문을 섞은 데이터로 더 큰 모델을 학습시키면서, 바이러스학·사이버보안·핵물리학·특정 틈새 프로그래밍 언어(전문적인 이중 용도 코드의 대용으로 사용)까지 네 가지 이중 용도 범주를 각각 모듈로 분리했습니다. 모듈을 삭제하자 해당 능력은 애초에 그 데이터를 학습하지 않은 것과 비슷한 수준으로 사라졌고, 놀랍게도 이 과정이 모델의 다른 일반적인 성능은 떨어뜨리지 않았습니다. 또한 소량의 악의적인 데이터로 재학습시켜 지워진 지식을 복원할 수 있는지도 시험했는데, GRAM은 기존 데이터 필터링 방식과 비슷한 수준으로 이런 시도에 저항했습니다. 반면 학습이 끝난 뒤에 적용하는 '언러닝' 기법은 지식을 억누르기만 할 뿐이어서, 적은 양의 파인튜닝만으로도 쉽게 되살아났습니다.
- 모델 크기를 바꿔가며 한 테스트 — 파라미터 5천만 개부터 50억 개까지, 일곱 가지 크기의 모델로 같은 실험을 반복했습니다. 모든 크기에서 GRAM은 기존 데이터 필터링과 비슷한 성능을 보였고, 모델이 커질수록 '모듈을 켰을 때'와 '껐을 때'의 능력 차이는 오히려 더 뚜렷해졌습니다. 계산 비용 측면에서도, 모델이 커질수록 보호 장치를 우회하려는 시도는 상대적으로 더 어렵고 비싸졌습니다.
아직은 연구 단계라는 점을 기억하세요
공식 발표에 따르면 이번 실험 결과는 예비 단계이며, GRAM은 앤트로픽의 실제 서비스 모델(프로덕션 모델)에는 아직 적용되지 않았습니다. 앞으로 적용될지도 아직 확실하지 않다고 밝혔습니다. 다만 더 강력한 AI 모델이 계속 등장하면서 이중 용도 능력을 정교하게 통제해야 할 필요성은 커지고 있으며, 지금은 주로 분류기와 거절 훈련으로 접근을 제한하고 있다는 점도 함께 언급했습니다.
정리하며
GRAM은 '위험할 수 있는 지식만 따로 담아 두는 서랍'을 모델 안에 만들어, 하나의 모델을 여러 목적에 맞게 안전하게 재구성할 수 있게 해보려는 실험적 시도입니다. 아직 실제 서비스에 쓰이는 기술은 아니지만, AI 안전 연구가 '출력을 막는 방식'에서 '지식 자체를 통제하는 방식'으로 나아가고 있다는 흐름을 보여주는 사례입니다.