투게더AI, GPU 추론 코드 최적화 도구 공개

요약

투게더AI가 AI 에이전트가 추론용 GPU 코드를 반복적으로 최적화하는 '투게더 컴파일러'를 공개했습니다. 이 도구는 AI 모델의 가중치 자체가 아닌, 사용자의 요청에 응답하는 추론 과정의 코드를 개선하는 데 초점을 맞추고 있습니다. 회사는 이 컴파일러가 모델 구조, 요청 트래픽, 그리고 GPU 변경 시 필요한 추론 코드 재최적화 작업을 자동화할 수 있다고 설명했습니다. 투게더AI는 이 신규 도구를 통해 신규 모델 최적화에 걸리는 시간을 수주 단위에서 24시간 이내로 단축할 수 있다고 밝혔습니다. 또한, 자체 시험 결과, Kimi K3와 GLM 5.3의 피크 처리량은 경쟁사 최고 결과 대비 각각 1.5배, 1.4배 높은 수치를 기록했다고 제시했습니다. 단일 이용자 기준 성능 비교에서는 MiniMax M3.1 Flash가 엔비디아(NVIDIA) B200에서 초당 1111토큰을 기록하며 기준선의 1.5배를 보였습니다. 투게더AI는 이 컴파일러를 통해 'Polymorphic Inference' 프로젝트를 진행하고 있으며, 이는 회사가 추진하는 AI 인프라의 핵심 기술 중 하나입니다. 이 기술은 추론 서비스의 효율성을 높이는 데 기여할 것으로 보입니다. 한편, 투게더AI는 이미 에퀴닉스(Equinix) 및 엔비디아와 함께 기업용 분산 AI 추론 서비스를 공개했으며, 이는 2027년 1분기부터 제공될 예정입니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.