엔비디아, 강화학습 가중치 재반영 지연시간 획기적 단축 기술 공개

요약

엔비디아는 강화학습(RL) 과정에서 훈련된 GPU의 가중치를 추론 GPU에 반영하는 과정의 지연시간을 최대 5.7배까지 줄이는 Reshard collective를 공개했습니다. 이 기술은 훈련과 추론을 별도 GPU에서 진행할 때 발생하는 가중치 재반영(refit) 과정을 최적화하는 데 중점을 두었습니다. 기존의 전체 수집·재배포 방식은 훈련 GPU에 분산된 가중치를 한 곳에 모아 전체 텐서를 만든 후 추론 GPU에 다시 보내는 과정이 필요했습니다. Reshard는 출발지와 목적지 영역이 겹치는 부분만 계산하여 필요한 데이터만 직접 전송함으로써, 중복 전송 단계를 줄이는 방식으로 작동합니다. 자체 NeMo RL 테스트 결과, DGX H100에서 큐원3(Qwen 3) 235B 모델의 재반영 시간은 기존 6.4초에서 1.9초로 단축되었습니다. 또한, 딥시크 v3(DeepSeek v3) 671B 모델은 같은 장비에서 14.9초에서 2.6초로 단축되었으며, DGX GB200에서도 성능 개선이 확인되었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.