허깅페이스 7.72TB 모델 파일, 합성 난수 흔적 제기돼

요약

허깅페이스에 올라온 7.72TB 규모의 거대 모델 파일 일부가 분석가들 사이에서 논란이 되고 있습니다. 이 파일은 앤트로픽(Anthropic)의 차기 모델 훈련 체크포인트로 알려졌습니다. 레딧 이용자 johnxreturn은 일부 가중치 파일의 구조와 단어 임베딩에서 실제 모델의 흔적을 발견했지만, 다른 가중치들은 합성 데이터일 가능성이 높다고 분석했습니다. 특히 출력층과 단어 임베딩층의 대응 값 유사도나, 여러 모듈의 보정값이 일관되지 않은 점 등이 지적되었습니다. 또한, 파일의 일부 정보(MMLU 평가 문항 수 등)가 기록 위치마다 달라 신뢰성에 의문이 제기되었습니다. 분석가들은 이 파일이 앤트로픽의 공식 배포 자료가 아님을 지적하고 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.