앤트로픽, 클로드 답변 후 '자가 평가' 기능 공개

요약

앤트로픽은 AI 챗봇 클로드(Claude)가 답변을 생성한 후, 대화 내용의 잠재적 악용 징후를 자체적으로 평가하는 '자가 평가' 기능을 운영 중입니다. 이 평가는 이용자에게 실시간으로 표시되지는 않으며, 내부적인 안전 감시 목적으로 사용됩니다. 앤트로픽은 이 기능이 기존 분류기가 놓칠 수 있는 새로운 악용 유형을 탐지하는 데 활용된다고 밝혔습니다. 성능 평가 결과, 오탐률 1% 기준 시 자가 평가는 유해 가능성이 있는 대화의 78%를 포착했으며, 우선순위가 높은 대화에서는 94%의 포착률을 보였습니다. 다만, 이 기능은 공격자가 평가 이유를 파악하여 우회 시도할 수 있어, 실시간 차단기로는 충분히 견고하지 않다고 언급했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.