엔비디아, AI 모델 추론 성능 시험 결과 발표

요약

엔비디아는 DGX Spark 환경에서 네모트론 3.5 라이트닝 모델을 이용한 AI 추론 성능을 시험했습니다. 다중 토큰 예측(MTP) 방식의 수락 토큰 처리량은 단일 요청 기준으로 초당 93.2개로 측정되었습니다. 반면, 기본 방식의 생성 토큰 처리량은 같은 조건에서 초당 75.6개였습니다. 배치 크기를 8로 늘린 경우, 기본 방식이 초당 244.9개의 생성 토큰을 기록하며 가장 높은 수치를 보였습니다. 엔비디아는 이번 성능표를 통해 MTP와 DFlash 방식이 지원됨을 밝혔으며, 이는 로컬 환경에서 데이터 처리가 가능하다는 장점을 강조합니다. 다만, 시험 조건이나 측정 방식이 다양하여 수치 비교 시 유의할 점이 언급되었습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.