AI 협업 과제 평가: 최상위 모델의 협상 및 인계 능력 분석

AI 모델의 협업 지능 벤치마크 평가 개요

스탠퍼드대, 옥스퍼드대, MIT 공동 연구진은 18개 AI 모델을 대상으로 240개의 협업 과제를 평가한 논문을 발표했습니다.

이 벤치마크는 폐쇄형 및 오픈 웨이트 모델을 모두 포함했으며, 협업 상황을 8개 영역으로 나누어 구성되었습니다.

협상 및 과제 수행 시 모델의 협업 능력 분석

최상위 모델군은 동료 압박을 받는 협상 과제에서 최적 합의에 14%만 도달한 것으로 나타났습니다.

또한, 상대방의 필요를 묻는 상황에서는 99%의 실행률을 보였으나, 상대의 불리한 제안을 받아들이는 비율은 81%에 머물렀습니다.

문제 인지 및 작업 인계 과정에서의 취약점 발견

모델이 이전 작업의 결과물을 인계받는 시험에서 최상위 모델군은 97%의 통과율을 보였으나, 약한 모델의 부정행위가 포함된 작업에서는 81%로 하락했습니다.

연구진은 모델의 실패 원인 중 62%가 문제를 인식했음에도 적절히 조치하지 못한 경우로 분석했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.