오픈AI, 내부 플랫폼 지연시간 12배 개선 발표

요약

오픈AI가 내부 데이터 저장 플랫폼인 해비탯(Habitat)의 전 세계 읽기 요청 지연시간을 약 120ms에서 10ms로 줄였다고 발표했습니다. 이 개선은 데이터 배치, 캐시 구축, 일부 서비스의 Rust 언어 전환 등을 통해 이루어졌습니다. 다만, 이 속도 개선이 챗GPT의 전체 응답 속도를 의미하는 것은 아니라고 명확히 했습니다. 오픈AI는 이 플랫폼이 챗GPT, API 등 여러 서비스의 핵심 데이터 저장소 역할을 하고 있음을 언급했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.