2024.11.22 - [오블완 챌린지] - Document Retrieval Evaluation Metrics - 1 Document Retrieval Evaluation Metrics - 1RAG에서 중요한 요소는 크게 2가지이다.첫번째로 사용자가 입력한 쿼리와 관련된 문서를 찾는 것,두번째로는 검색된 문서 (chunks)를 기반으로 얼마나 질문에 대한 답변을 잘 하는지.여기서 첫번째carrotomato.tistory.com 오늘은 어제 작성했던 Document Retrieval 에서의 평가 metric 2번째 포스트.저번 포스트에서는 Confusion Matrix를 기반으로 하는 기본적인 IR evaluation metrics을 알아봤다.오늘은 추가적으로 많이 사용하는 metrics인 Mean Av..

RAG에서 중요한 요소는 크게 2가지이다.첫번째로 사용자가 입력한 쿼리와 관련된 문서를 찾는 것,두번째로는 검색된 문서 (chunks)를 기반으로 얼마나 질문에 대한 답변을 잘 하는지.여기서 첫번째 요소인 Information Retrieval 에 대해 평가는 어떻게 해야할까?이건 정보 검색을 하는데 주로 사용되는 임베딩 모델의 평가와도 관련이 있다.우선 정보검색은 추천시스템과 아주 유사한 task라고도 볼 수 있다.사용자가 원하는 정보를 k개 검색해서 사용자한테 추천해주는 system인데기준을 쿼리와 저장된 chunks 사이의 임베딩 유사도라고 표현하면 이해가 좀 쉬우려나..?그래서 간단한 평가 metrics은 무엇이 있느냐.. 하면!우선은 confusion matrix를 기반으로 하는 평가 방법이 있..