distillation 공격에 대한 방어 체계 강화

🤖 AI 분석 (Claude)

Anthropic이 distillation(증류) 공격에 맞서 방어 체계를 강화했다고 공식 블로그에서 밝혔습니다. distillation 공격은 한 모델의 능력을 추출해 다른 모델에 무단으로 복제하는 은밀한 대규모 캠페인이며, 흔히 다수의 부정 계정 네트워크를 통해 이뤄집니다. Anthropic은 초기 증거에 따르면 새 방법으로 증류자가 수집하는 데이터량이 약 90~99% 줄었다고 설명합니다. 회사는 충분한 안전장치 없이 공개된 증류 모델이 생물학·사이버보안 분야에서 악용될 수 있고 국가안보 위험으로 이어질 수 있다고 우려합니다.

증류는 대형 모델의 응답을 대량으로 생성해 작은 모델이 그 행동을 흉내 내도록 가르치는 방식이며, 가장 가치 있는 자료는 Claude가 답하기 전에 쓰는 추론 과정입니다. 원문은 중국 Zhipu가 GLM-5.3 개발 중 미국 주요 모델의 사이버 역량을 증류했다는 사례를 들었습니다. 추론 요약본으로 바꾸는 초기 조치는 SWE-bench Verified에서 전체 추론으로 학습했을 때 80.4%, 요약본으로 학습했을 때 71.8%를 기록할 만큼 효과가 있었지만, 공격자는 추론 전문을 드러내도록 유도하는 방식으로 전환했습니다. 이후 수십만 개의 부정 계정을 통제하는 프록시 네트워크가 등장했고, 한 네트워크는 2만 개 이상의 계정을 동시에 운영했습니다.

방어는 세 가지 방식으로 이뤄집니다. 첫째, 추론이 이동할 수 있는 범위를 제한해 2026년 8월 31일 이후 생성된 신규 API 계정이 이전 맥락을 편집하지 못하게 했고, 추론을 이전 모델이 읽지 못하도록 막았습니다. 둘째, 추출 시도를 탐지·차단하는 2단계 분류기를 적용했으며 오탐률은 0.1% 미만입니다. 셋째, 반복 시도 계정에는 사용량 제한을 강화하고 계정을 정지하며, 9월 24일부터는 특정 영역에서 안전장치에 차단된 요청에 대해 과금을 재개했습니다. 그 결과 분류기 도입 후 추출되는 추론 토큰은 10~100배 줄었고 수만 개의 관련 계정이 정지됐지만, Anthropic은 그 대가로 상당한 매출과 수조 토큰 규모의 유료 트래픽을 포기했고 일부 정당한 사용자가 연동을 수정해야 했다고 밝혔습니다.

왜 중요한가

AI 모델이 답하기 전에 쓰는 '추론 과정'은 다른 모델을 가르치는 데 가장 값진 재료인데, 이를 무단으로 긁어가는 행위를 막는 조치입니다. 이 방어는 안전장치 없이 복제된 모델이 생물학이나 사이버보안 같은 위험한 영역에서 쓰이는 것을 줄이려는 목적도 있습니다. 다만 정상 사용자도 연동 수정이 필요할 수 있으며, 반복적으로 추출을 시도하는 계정에만 사용량 제한이 강화된다는 점을 원문이 밝히고 있습니다.

이전과 다른 점

이전에는 추론을 요약해 보여주는 조치와 초기 방어가 중심이었지만, 이제는 추론이 전달되는 범위를 제한하고 추출 시도를 탐지하는 2단계 분류기와 반복 시도 계정에 대한 제재를 더했습니다. 분류기 도입 후 추출되는 추론 토큰은 이전보다 10~100배 낮아졌다고 원문은 설명합니다.

⚠️ AI가 원문을 바탕으로 생성한 분석입니다. 사실 확인은 아래 원문에서 해 주세요.