B200 GPU 활용, 100만 토큰 학습 성과 공개

요약

라일라 사이언스와 애니스케일은 엔비디아(NVIDIA)의 B200 GPU 64개를 활용하여 GLM-5.3-Flash 모델을 시퀀스당 100만 토큰까지 후속 학습하는 작업을 완료했습니다. 이 과정에서 유전체 손실이 4.8% 개선된 성과가 확인되었으며, 이는 51만 2000토큰 조건의 별도 시험에서 도출된 수치입니다. 연구팀은 이번 학습을 위해 SkyRL을 사용했으며, 무작위 토큰과 무작위 초기 가중치를 이용한 시험에서 64개 B200 GPU 기준으로 100만 토큰 시퀀스에서 초당 1만 3700토큰의 처리량을 기록했습니다. 또한, 100만 토큰 시퀀스에서 GPU당 최대 메모리 사용량은 144.5GiB로 측정되어 B200의 메모리 용량(178GiB) 이내임을 확인했습니다. 실제 유전체 시험에서는 사람 참조 유전체 hg38의 염색체 1·2를 학습 데이터로 사용하고, 22번 염색체를 평가 데이터로 활용하여 51만 2000토큰 시퀀스에서 4.8%의 손실 감소를 보였습니다. 이러한 긴 시퀀스 학습은 과학 데이터의 구조적 손실을 막기 위한 기술적 시도로 제시되었으며, 메모리 사용 절감을 위해 희소 어텐션 커널 수정 등이 이루어졌습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.