엔비디아, 텐서RT 11.1에 추론 엔진 자동 경로 탐색 기능 도입
엔비디아의 최신 AI 추론 엔진 최적화 기능은 실제 AI 서비스의 성능 향상에 직접적인 영향을 줄 수 있습니다.
요약
엔비디아는 텐서RT 11.1 버전에 AI 추론 엔진의 빌드 경로를 자동으로 탐색하는 기능을 추가했습니다. 이 기능은 글로벌 퍼포먼스 튜너를 활용하여 여러 설정 조합 중 가장 빠른 엔진을 선택합니다. 자동 탐색은 200개가 넘는 설정값 조합을 검토하며, 정확도 조건을 통과한 후보 중 최적의 성능을 가진 경로를 찾아줍니다. 엔비디아는 이 기능이 모델, GPU, 소프트웨어 환경 등 조건 변화에 따라 재측정이 필요하다고 안내했습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.
원문 제목 엔비디아, 텐서RT 11.1에 추론 엔진 경로 자동 탐색 도입
원문 보기 ↗