AMD, 라이젠 AI 소프트웨어 1.9에 NPU 어댑터 전환 기능 추가

요약

AMD가 라이젠 AI 소프트웨어 1.9 버전을 통해 NPU(신경망처리장치)에서 언어모델의 LoRA 어댑터를 추론 중에 전환하는 기능을 추가했습니다. 이 기능은 텍스트 기반의 Qwen 계열 일부 모델에 적용되며, '동적 LoRA 지원'으로 소개되었습니다. LoRA는 대규모 언어모델의 전체 가중치를 재학습하는 대신 작은 어댑터를 학습시켜 특정 작업에 맞추는 기술입니다. AMD는 이 기능을 통해 하나의 기본 모델에 여러 어댑터를 연결하고, 작업에 따라 추론 중 선택할 수 있어 기본 모델 사본을 여러 개 둘 필요성을 줄일 수 있다고 설명했습니다. 개발 과정은 기본 모델을 INT4 형식으로 양자화한 후, LoRA 어댑터를 미세 조정하고 NPU 실행용으로 컴파일하는 순서로 진행됩니다. 다만, 메모리 절감량이나 추론 속도 개선 폭 등 구체적인 성능 수치는 공개되지 않았습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.