RAG 검색 품질 저하 실험, 질문과 유사한 문서가 영향

요약

구글과 포티넷 연구진이 질문과 매우 유사한 문서 5개를 검색 대상에 추가하는 실험을 진행했습니다. 이 실험 결과, 검색 증강 생성(RAG)의 검색 순위 지표가 기존 대비 40.2%에서 61.5%까지 하락하는 것으로 나타났습니다. 이는 AI가 최종 답변을 잘못 생성하는 문제가 아니라, 참고 자료를 찾는 검색 단계의 순위 품질 변화에 관한 것입니다. 연구진은 키워드 일치 기반의 BM25와 의미 비교 기반의 LSA, 이 둘을 결합한 하이브리드 검색 방식을 사용했습니다. BM25 방식에서는 질문 전체를 반복하는 문서가 순위 지표 하락의 주된 원인이었습니다. 의미 기반 검색기인 BGE-small을 테스트했을 때도 질문만 담은 문서 5개를 추가하자 두 자료집 모두에서 질문별 공격 문서가 상위 10개 결과에 포함되었습니다. 질문과 지나치게 닮은 문서를 걸러내는 필터는 정상 검색 품질 저하를 초래했습니다. NFCorpus에서 공격 문서가 없는 정상 검색의 지표는 필터 적용 전 0.267에서 적용 후 0.134로 낮아졌습니다. 또한, 질문 속 단어 두 개만으로도 질문의 상당 부분을 유추할 수 있어, 짧은 질문에 대한 결과 해석 시 주의가 필요하다는 점을 지적했습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다. 투자 판단의 근거로 삼기 전에 원문을 확인하세요.