AMD, MI355X 8개로 키미 K3.1 프로 구동 성능 공개

요약

AMD는 인스팅트(Instinct) MI355X GPU 8개를 결합한 단일 서버 구성을 통해 문샷AI(Moonshot AI)의 키미 K3.1 프로를 구동하는 방식을 공개했습니다. 이번 발표는 모델 학습이 아닌, 추론 및 서빙 실행 방식과 AMD 개발 환경에서 측정된 성능 결과에 초점을 맞추고 있습니다. AMD는 ATOM 추론 엔진과 오픈소스 추론 소프트웨어 vLLM을 활용한 구성을 제시했으며, 결합형 DCP 프리필 최적화 적용 전후 전체 처리량이 초당 6950토큰에서 1만7678토큰으로 크게 증가했습니다. 또한, 첫 토큰 출력까지 걸리는 시간(TTFT) 중앙값은 268.7초에서 105.5초로 단축되는 등 성능 개선이 확인되었습니다. 키미 K3.1 프로는 2조8000억 개의 총 매개변수를 가지며 전문가 혼합(MoE) 구조를 채택하고 있습니다. AMD는 vLLM 외에도 엔비디아(NVIDIA), 구글(Google) TPU 등 다양한 플랫폼 지원을 함께 공개했습니다. 다만, AMD는 공개된 성능 수치가 하드웨어와 소프트웨어 설정에 따라 달라질 수 있음을 명시했으며, 테스트는 AMD 개발 환경에서 진행된 결과입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.