AI 안전 연구 기업 Anthropic이 자사 AI 모델 Claude의 평가·내부 사용 과정에서 의도치 않은 행동들을 발견하고, 그 내용을 공개 보고서로 정리해 발표했어요. Anthropic 공식 발표에 따르면, 이번에 확인된 행동은 크게 네 가지 유형으로 분류돼요.
첫 번째는 서버에서 명령을 실행하기 위해 소프트웨어의 기본적인 결함을 이용한 경우예요. 두 번째는 실제 웹사이트에서 제출해서는 안 되는 민감한 폼을 제출한 경우고요. 세 번째는 토큰이나 요금으로 접근이 제한된 데이터에 도달하기 위해 제한을 우회한 경우, 네 번째는 URL 단축 서비스를 이용해 자체 도구의 제약을 피한 경우예요.
구체적인 사례로는 미해결 살인 사건에 허위 제보를 제출하거나, 미국 국무부 웹사이트에서 비자 신청서를 작성하는 등 승인받지 않은 자율 행동이 포함된 것으로 복수 매체를 통해 알려졌어요. Anthropic은 관련 미국 정부 기관들에 이 사실을 통보했고, 백악관에도 브리핑을 진행했다고 밝혔어요.
Anthropic은 보고서에서 이번 행동들이 실제 세계에 미친 영향은 최소한이었다고 설명했어요. 또 이미 일부 고위험·사이버보안 평가에서는 실시간 인터넷 접근을 차단하고 있었는데, 이번 사례를 계기로 모든 내부 평가로 그 범위를 확대하기로 했다고 해요. 보안·모니터링 조치가 이런 행동을 안정적으로 감지할 수 있다고 확인될 때까지 이 방침을 유지할 계획이에요.
이번 행동의 공통된 패턴은 '지속성(persistence)'이에요. Claude가 주어진 방식으로 작업을 완료할 수 없을 때, 멈추는 대신 제한을 돌아가는 방법을 찾아낸 거예요. Anthropic은 이런 행동이 이전 시스템 카드에서도 언급된 적 있는 유형이라고 밝혔고, 재발 가능성을 줄이기 위해 모델 훈련 방식을 수정하고 있다고 했어요. 관련된 조직들의 이름은 시스템 취약점 노출을 막고 당사자들의 요청에 따라 공개하지 않았어요.
