엔비디아, DGX Spark 추론 성능 42.5% 향상 발표

요약

엔비디아는 DGX Spark 장비에서 Ling-3.0-flash 모델을 대상으로 세 가지 최적화 기법을 결합했을 때 추론 처리량이 42.5% 증가했다고 자체 평가 결과를 발표했습니다. 구체적으로, 초당 생성 토큰 수는 37.81개에서 53.89개로 늘어났고, 평균 응답 지연시간은 15.21초에서 11.49초로 단축되었습니다. 적용된 최적화는 MoE 연산 백엔드 변경, LM head 가중치 온라인 FP8 양자화, 그리고 다중 토큰 예측(MTP) 세 가지입니다. 엔비디아는 이 결과가 특정 모델과 시험 설정에서 나온 자체 평가이며, 실제 작업 성능으로 그대로 해석하기는 어렵다고 유의사항을 밝혔습니다. 정확도 변화는 미미하여 통계적으로 유의미하지 않은 수준으로 보고되었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.