차세대 Constitutional Classifiers: 범용 탈옥에 대한 더 효율적인 방어

🤖 AI 분석 (Claude)

Anthropic이 Constitutional Classifiers++ 라는 새로운 AI 안전 방어 시스템을 발표했습니다. 이는 LLM의 입력과 출력을 모니터링하여 해로운 콘텐츠를 탐지·차단하는 방식으로, 자연어 규칙으로 정의된 '헌법'으로부터 생성한 합성 데이터로 학습되었습니다.

이전 세대 Constitutional Classifiers는 탈옥 공격 성공률을 86%에서 4.4%로 낮췄지만, 계산 비용 23.7% 증가와 무해한 질문에 대한 거부율 0.38% 증가라는 부작용이 있었습니다. Constitutional Classifiers++는 두 단계 아키텍처와 내부 프로브 분류기를 조합한 앙상블 방식으로, 계산 비용을 약 1%로 줄이면서도 무해한 질문 거부율을 87% 감소시켰습니다.

1,700시간 이상의 레드팀 테스트(19만 8,000회 공격 시도)를 통해 고위험 취약점 1개만 발견했으며, 탐지율은 천 개 쿼리당 0.005로 역대 최저 수준입니다. 특히 범용 탈옥 공격(여러 쿼리에 걸쳐 작동하는 일관된 공격)은 아직 발견되지 않았습니다.

왜 중요한가

Claude 사용자들이 더 안전한 AI를 이용하면서도, 거부 오류로 인한 답답함이 크게 줄어듭니다. 또한 API 호출 비용이 거의 증가하지 않으므로, 서비스 제공자들도 강화된 안전성을 부담 없이 적용할 수 있습니다.

이전과 다른 점

이전 세대는 입력과 출력을 따로 검사해 문맥상 연결된 해롭지 않아 보이는 입력이 놓쳤지만, Constitutional Classifiers++는 양쪽을 함께 보고 판단합니다. 또한 이전엔 계산 비용이 23.7% 증가했고 무해한 질문 거부율이 0.38% 올랐지만, 새 버전은 비용 1%, 거부율 0.05%로 대폭 개선되었습니다.

⚠️ AI가 원문을 바탕으로 생성한 분석입니다. 사실 확인은 아래 원문에서 해 주세요.