세일즈포스, AI 모델 학습 연산량 42% 절감 실험 결과 발표

세일즈포스 AI 연구진의 모델 통합 학습 방식

세일즈포스(Salesforce)의 AI 연구진이 수학 및 코드 전문가 모델을 개별적으로 훈련한 후, 이를 하나의 학생 모델에 통합하는 실험을 진행했습니다.

이 통합 모델은 두 분야를 함께 강화학습하는 방식과 유사한 성능을 달성했으나, 총 학습 연산량은 42.0% 적게 소요된 것으로 나타났습니다.

다중 교사 온폴리시 증류(OPD) 기술 활용

연구진은 수학과 코드 전문가 모델을 각각 훈련한 뒤, 다중 교사 온폴리시 증류(OPD) 기법을 적용하여 학생 모델에 능력을 통합했습니다.

이 과정에서 학생 모델은 각 전문가 모델의 정확도를 회복하도록 학습되었으며, 전문가 훈련에는 GRPO(Group Relative Policy Optimization)가 사용되었습니다.

네 분야 확장 실험에서 연산 효율성 입증

실험 범위를 수학, 코드 외 지식 평가 및 지시 이행까지 네 분야로 넓혔을 때도 효율성이 입증되었습니다.

이 설정에서 통합 모델은 공동 GRPO 방식과 유사한 성능을 내면서도 총 FLOPs를 31.6% 절감하는 결과를 보였습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.