오픈AI, 장애 대응에 초당 750토큰 처리 기능 활용

요약

오픈AI가 내부 엔지니어들의 장애 대응 과정에 'Ultrafast'라는 고속 처리 등급을 활용하고 있다고 밝혔습니다. 이 기능은 표준 처리 대비 최대 14배 빠른 속도를 제공하며, 초당 최대 750개의 출력 토큰을 생성할 수 있는 최대 성능을 의미합니다. 오픈AI는 이 기능을 8월 13일 GPT-5.6 Sol의 API 서비스 등급으로 일부 고객에게 미리 공개했습니다. 이 기술은 세레브라스의 추론 인프라를 통해 제공되며, 엔지니어들은 이를 이용해 로그 분석, 추적 정보 정리, 수정안 검증 등에 활용합니다. 다만, 장애 조사 전체 소요 시간의 구체적인 전후 비교 수치는 공개되지 않았으며, 최종 판단은 여전히 엔지니어의 몫으로 남는다고 강조했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.