클라우드플레어 AI 서비스, 고객 요청 데이터 혼합 오류 발생

요약

클라우드플레어의 AI 추론 서비스에서 다른 고객의 요청 내용이 섞인 응답이 155건 발생한 사고가 보고되었습니다. 이 문제는 Workers AI의 GLM-5.3 모델이 긴 입력을 처리하는 과정에서 메모리 부족 현상과 관련이 있습니다. 사고는 8월 27일부터 9월 9일까지 발생했으며, 입력 길이가 68만1280토큰을 초과하는 요청에서 문제가 발견되었습니다. 근본 원인은 설정 오류와 오픈소스 추론 엔진 SGLang의 처리 오류가 복합적으로 작용한 결과입니다. GPU의 KV 캐시 용량과 실제 입력 길이 설정 간의 불일치로 인해, 시스템이 요청을 거부했음에도 불구하고 이전 고객의 데이터가 답변에 혼입된 것입니다. 클라우드플레어는 해당 모델의 공개 접근을 중단하고 시스템을 수정하여 문제를 해결했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.