Anthropic이 2026년 7월 9일 공식 리서치 블로그에 "Claude plays robotics"라는 글을 올려, Claude를 비롯한 여러 언어 모델에게 실제 로봇과 시뮬레이션 로봇을 조종시켜 본 실험 결과를 공개했습니다. Shmuel Berman, Michael Ilie, Jia Deng, Daniel Freeman 연구진이 진행한 이 실험은 "언어 모델이 장면을 인식하고, 특정 로봇의 상태를 이해하고, 물리 세계에 실제로 변화를 일으키는 동작을 내릴 수 있는가"라는 질문에서 출발합니다. 로봇공학이나 프로그래밍을 몰라도 이해할 수 있도록, 무엇을 테스트했고 무엇을 알아냈는지 쉬운 말로 정리했습니다.
🟢 현행 모델 라인업 일치 · 모델 안내 · Fable 구독 안내
Fable 5·5.1 구독 안내(2026년 9월 7일 갱신): 2026년 9월 1일 출시된 Claude Fable 5.1이 현행 Fable 모델이고, Fable 5는 레거시로 전환됐습니다. 구독 조건은 두 모델이 같습니다 — Max·Team Premium 플랜은 주간 사용 한도의 50% 범위에서 포함되고, Pro·Team Standard 플랜은 사용량 크레딧(입력 100만 토큰당
Claude가 로봇을 "조종한다"는 게 정확히 무슨 뜻인가요?
이 실험에서 말하는 "조종"은 한 가지 방식이 아니라, 언어 모델이 로봇과 연결되는 정도(추상화 수준)가 서로 다른 네 가지 방식을 가리킵니다. 방식에 따라 Claude가 로봇의 물리적 동작 하나하나를 직접 계산해야 하는지, 아니면 큰 지시만 내리면 되는지가 크게 달라집니다.
| 방식 | 추상화 정도 | Claude가 실제로 하는 일 |
|---|---|---|
| 모터 토크(motor torque — 로봇 관절을 움직이는 힘의 세기) 직접 명령 | 가장 낮음 | 로봇 관절에 줄 힘의 크기까지 직접 계산 |
| 제어 코드(controller code) 작성 | 낮음 | 로봇을 움직이는 프로그램 코드를 직접 작성 |
| 강화학습(reinforcement learning, RL — 시행착오를 반복하며 보상을 최대화하도록 스스로 학습하는 방식)으로 제어기 훈련 | 중간 | 제어기를 처음부터 스스로 학습시킴 |
| 사전학습된 로봇 정책(pretrained robot policy — 고수준 명령을 관절의 협응 동작으로 바꿔주는 별도의 신경망)에 고수준 지시 | 가장 높음 | "걸어가라"처럼 큰 지시만 내리고, 세부 동작은 이미 학습된 별도 프로그램이 처리 |
주의: 이 실험은 Anthropic 연구팀이 통제된 연구 환경에서 진행한 것으로, 일반 사용자가 claude.ai나 Claude 앱에서 바로 로봇을 조종할 수 있는 기능이 아닙니다. 로봇공학 연구 목적의 결과라는 점을 먼저 염두에 두어야 합니다.
어떤 로봇과 과제로 테스트했나요?
연구진은 고전적인 제어 장난감부터 인간형(휴머노이드) 로봇, 실제 사족보행 로봇까지 다양한 몸체와 세 가지 유형의 과제로 언어 모델의 로봇 조종 능력을 시험했습니다. 실제 로봇으로는 유니트리(Unitree) Go2라는 사족보행 로봇을 사용했는데, 이는 앞서 Anthropic이 소개한 Project Fetch에서 쓰인 로봇이라고 밝혔습니다.
| 과제 유형 | 예시 | 사용된 로봇 |
|---|---|---|
| 고전 제어 | 거꾸로 세운 진자(막대) 균형 잡기, 호퍼(다리 하나로 뛰는 로봇) 제어 등 강화학습의 고전 문제 | 고전 제어용 장난감 로봇 |
| 이동·내비게이션 | 다리 달린 로봇이 균형을 잡고 걷고 공간을 이동하기 | 시뮬레이션 사족보행·인간형 로봇, 실제 유니트리 Go2 |
| 조작 | 로봇 팔로 물건을 잡아 다른 곳으로 옮기기 | 로봇 팔 |
테스트 결과 핵심적으로 무엇을 알아냈나요?
가장 중요한 결론은 Claude의 로봇 조종 실력이 모델 자체의 성능뿐 아니라 로봇을 "어떤 방식으로" 연결했는지에 따라 크게 달라진다는 점입니다. 관절 하나하나를 직접 조종하도록 시키면 대부분 실패하지만, 이미 학습된 정책을 감독하거나 간단한 방향 지시 도구를 쓰게 하면 실제 이동·조작 과제를 완수할 수 있었습니다. 또한 최신 모델일수록 전략을 상황에 맞게 조정하고, 이미지·감각 정보를 적절한 동작으로 바꾸는 능력이 뚜렷하게 좋아졌습니다.
- 모델 세대가 바뀔 때 성능 향상은 고르지 않습니다. 고수준 인터페이스(사전학습 정책 활용)는 세대가 지날수록 꾸준히 좋아지는 반면, 저수준 직접 제어는 개선 폭이 들쭉날쭉해서 어떤 모델은 뚜렷이 좋아지고 어떤 모델은 그렇지 않았습니다.
- 오늘날 가장 앞선 모델도 사전학습된 정책 없이는 인간형(휴머노이드) 로봇을 스스로 조종하지 못합니다.
- 그럼에도 사족보행·인간형 로봇 모두에서 직접 조작과 고수준 정책 제어 양쪽에서 실질적인 발전이 있었다고 밝혔습니다.
이동(보행)과 조작(집기) 과제는 각각 어떤 성과를 보였나요?
이동 과제에서는 제한적이지만 의미 있는 전신 제어가 가능해졌습니다. 사족보행 로봇이 서고, 균형을 잡고, 걷는 저수준 제어에서 뚜렷한 발전이 있었고, 인간형 로봇의 균형 잡기에서도 더 약하지만 측정 가능한 향상이 나타났습니다. 사전학습된 정책과 지각 도구를 함께 쓰면 단순한 환경에서 내비게이션도 가능했습니다. 다만 안정적인 공간 기억, 자기 위치 추정, 장기간에 걸친 개방형(open-loop) 계획이 필요한 과제에서는 여전히 실패했습니다.
조작 과제는 저수준 방식(관절을 직접 조종)에서 물체에 다가가고, 접촉하고, 쥐는 국소적인 동작은 눈에 띄게 좋아졌지만, 과제를 처음부터 끝까지 완수하는 비율은 0~5.5%로 여전히 드물었습니다. 반면 고수준 방식에서는 VLA(vision-language-action — 카메라 이미지와 지시문을 로봇 팔의 동작으로 직접 바꿔주는 사전학습 정책) 스캐폴드를 활용하면 조작 성능이 직접 제어보다 훨씬 높아졌습니다. 최신 모델은 이런 정책을 "감독"하는 역할도 더 잘 해내는데, 정책이 언제 실패할지 더 잘 알아채고 무조건 따르지도 않습니다. 정책을 감독하면 정책 단독 실행보다 성능이 약간 낮아지지만, 최상위 모델은 그 격차 대부분을 좁혔고, 정책 혼자서는 못 하는 과제에서는 최상위 모델의 감독이 오히려 순수한 이득(net uplift)을 가져다주었다고 밝혔습니다.
이 연구가 왜 중요한가요?
Anthropic은 이 결과를 언어 모델을 물리적 세계에 안전하게 배치하는 문제와 직접 연결 지어 설명합니다. 오늘날의 최전선 모델이 사전학습된 정책 없이는 인간형 로봇을 조종하지 못한다는 점은 현재로서는 중요한 한계이지만, 직접 조작과 고수준 정책 제어 양쪽에서 세대를 거듭할수록 실질적인 발전이 나타나고 있다는 점도 함께 강조했습니다. 연구진은 구체적인 예시로, 로봇공학 훈련을 따로 받지 않은 범용 대화형 모델도 운이 좋으면 스스로 도구를 작성·내려받아 사족보행 로봇을 미로 속에서 천천히 통과시키거나, 조리대 위 접시를 집어 스토브에 올려놓을 수 있으며, 이런 작업의 신뢰도 격차가 모델 세대가 바뀔수록 좁혀지고 있다고 설명했습니다.
자주 묻는 질문
Q. 지금 claude.ai나 Claude 앱에서 로봇을 직접 조종할 수 있나요?
아니요, 이 실험은 Anthropic 연구팀이 자체적으로 진행한 로봇공학 연구 결과이며, 일반 사용자가 claude.ai나 Claude 앱에서 곧바로 사용할 수 있는 소비자 기능은 아닙니다.
Q. Claude는 로봇을 잘 다루는 편인가요, 아닌가요?
연결 방식에 따라 다릅니다. 관절 힘 같은 세부 동작을 직접 지시하면 대부분 실패하지만, 이미 만들어진 로봇 제어 정책에 고수준 지시만 내리는 방식이면 실제 이동·조작 과제를 완수할 수 있었습니다.
Q. 실제 로봇으로도 테스트했나요, 아니면 시뮬레이션뿐인가요?
둘 다입니다. 시뮬레이션 사족보행 로봇과 인간형 로봇 외에, 실제 유니트리 Go2 사족보행 로봇으로도 테스트했다고 공식 블로그에 명시되어 있습니다.
Q. 이 실험에 쓰인 로봇 조종 벤치마크의 이름은 무엇인가요?
Embody라는 자체 벤치마크 모음을 사용했다고 밝혔으며, 이 벤치마크로 로봇 몸체·과제별 종합 점수를 측정했다고 설명합니다.
이번 연구는 Claude가 실제로 로봇을 대신 움직여주는 기능이라기보다, "언어 모델이 물리적 세계와 어떻게 상호작용할 수 있는가"를 살펴본 안전성·역량 연구에 가깝습니다. Claude의 다른 기능과 안전 관련 소식이 궁금하다면 usingclaude.com의 다른 공식 소식 정리 글도 함께 참고해 보세요.