Anthropic, 독립 평가자(independent evaluators)에 관한 업데이트

🤖 AI 분석 (Claude)

Anthropic은 지난달 모델과 안전 관행에 대한 더 강력한 독립·제3자 평가를 약속했고, 이후 White House Accord on Super Intelligence에 서명하며 독립 외부 감사자 또는 평가자와 협력하겠다고 밝혔다. 이번 글에서 Anthropic은 프런티어 AI 모델을 평가하는 비영리 단체 METR 팀에게 직원에 준하는(employee-like) 접근 권한을 주기 시작했다고 발표했다. METR은 위험 평가 결과를 공개할 예정이다. 이 밖에 SecureBio, Accenture와 평가자로 협력하고 있으며, Hugging Face를 포함한 여러 기관과도 초기 논의를 진행 중이다.

AI 모델이 강력해질수록 더 강한 안전장치와 더 어려운 위험 평가가 필요해지고, Anthropic은 이 과정을 공개적으로 책임지고 싶다고 밝혔다. 그러나 일부 정보는 악의적 행위자에게 유용할 수 있거나 컴퓨팅·학습 정보처럼 상업적으로 민감해 모두 공개할 수 없다. 그래서 회사는 제3자 평가자에게 깊은 접근을 주고 그들이 증거와 근거 있는 결론을 공유하게 하며, 외부 평가자가 아는 것과 회사 자신이 아는 것 사이의 격차를 줄이는 것을 목표로 한다. 글은 은행 감독에서 규제 기관이 상주 검사관을 두는 방식과 비유하지만, 정확히 같지는 않다고 덧붙였다.

METR에는 6명의 직원이 온보딩되어 회사 장비, 사무 공간, 내부 도구와 시스템에 접근하며, 이는 회사 내부 위험 평가팀과 대략 비슷한 수준이다. METR은 분석을 공개할 수 있고 Anthropic은 공개를 거부할 수 없지만, 정해진 좁은 범주의 정보에 대해서만 수정(redaction)을 요구할 수 있다. 접근 권한은 3단계로 설계되고 있으며, 1단계는 범위가 좁은 조사이고 공개에 Anthropic 승인이 필요하며, 2단계는 승인 없이 공개할 수 있고, 3단계는 METR과 같은 직원급 접근 구조다. SecureBio는 파일럿 검토를 마친 뒤 8월 Risk Report의 화학·생물무기 챕터를 검토 중이고, Accenture·Faculty와는 평가, 레드티밍, 얼라인먼트 점검 등을 포함한 파트너십을 추진 중이다.

왜 중요한가

AI 회사의 안전 주장을 외부 전문가가 내부 정보를 직접 들여다보며 검증하는 구조가 만들어지고 있습니다. 민감한 세부 정보를 모두 일반에 공개하지 않더라도, 독립 평가자의 결론과 근거가 공개될 수 있어 사회가 위험 판단을 확인할 길이 열린다는 점이 의미입니다.

이전과 다른 점

모든 정보를 대중에게 공개하는 대신, 외부 평가자에게 내부 정보에 대한 깊은 접근을 주고 그들이 증거와 판단을 공유하는 방식으로 바뀌었다.

⚠️ AI가 원문을 바탕으로 생성한 분석입니다. 사실 확인은 아래 원문에서 해 주세요.