리만 컴퓨팅, 131억 매개변수 AI 모델 개발 과정 공개

요약

리만 컴퓨팅은 매개변수 약 131억 개 규모의 언어모델 'My Name is Riemann'의 개발 과정과 초기 평가 결과를 공개했습니다. 이 모델은 매개변수 1억 6300만 개였던 OpenPeerLLM을 기반으로 단계적으로 확장한 사전 공개 버전입니다. 개발진은 OpenPeer-AI-NTK-Trainer라는 도구를 사용하여 기반 모델의 가중치를 변경하지 않고 출력값만 조정하는 방식을 사용했습니다. 학습 장비는 초기 노트북에서 AMD Instinct MI325X GPU 8개를 탑재한 클라우드 장비로 전환되었으며, 마지막 단계 학습량은 약 21억 6000만 토큰에 달합니다. 초기 평가는 프롬프트와 완성문 1000쌍을 대상으로 진행되었으며, 제어기 적용 후 음의 로그우도는 1.323에서 1.310으로 낮아졌습니다. 다만, 평가 데이터가 학습 자료와 성격이 유사하고, 이 결과가 범용적인 최첨단 AI 역량을 입증하는 것은 아니라고 발표 측은 밝혔습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.