AI 에이전트, 물리 공학 과제 평가 결과 공개
AI 모델의 성능 평가가 단순한 지식 테스트를 넘어 복합적인 산출물 생성 능력으로 진화하고 있음을 보여줍니다.
요약
구글 클라우드 연구진이 논문 'PLE: Physical-Engineering’s Last Exam'을 통해 AI 에이전트의 물리 엔지니어링 과제 수행 능력을 평가했습니다. 이 평가는 단순히 정답을 고르는 시험이 아니라, 여러 자료를 종합하여 설계 기준에 맞는 결과물(계산서, 도면 등)을 만드는 과정을 평가합니다. 평가에 사용된 85개 과제 중, 앤트로픽(Anthropic)의 클로드 오퍼스 5.5와 클로드 코드를 결합한 조합이 가장 높은 점수를 기록했습니다. 최고 조합의 산출물 평균 점수는 50.6%였으며, 분야별로는 토목공학에서 가장 높은 점수를 받았습니다. 연구진은 AI 에이전트 성능 비교 시 모델 자체뿐 아니라 실행 환경과 과제 구성까지 함께 고려해야 한다고 강조했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.
원문 제목 AI 공학 평가 최고 50.6%…완료율 아닌 산출물 점수
원문 보기 ↗