728x90 evaluation1 Document Retrieval Evaluation Metrics - 1 RAG에서 중요한 요소는 크게 2가지이다.첫번째로 사용자가 입력한 쿼리와 관련된 문서를 찾는 것,두번째로는 검색된 문서 (chunks)를 기반으로 얼마나 질문에 대한 답변을 잘 하는지.여기서 첫번째 요소인 Information Retrieval 에 대해 평가는 어떻게 해야할까?이건 정보 검색을 하는데 주로 사용되는 임베딩 모델의 평가와도 관련이 있다.우선 정보검색은 추천시스템과 아주 유사한 task라고도 볼 수 있다.사용자가 원하는 정보를 k개 검색해서 사용자한테 추천해주는 system인데기준을 쿼리와 저장된 chunks 사이의 임베딩 유사도라고 표현하면 이해가 좀 쉬우려나..?그래서 간단한 평가 metrics은 무엇이 있느냐.. 하면!우선은 confusion matrix를 기반으로 하는 평가 방법이 있.. 2024. 11. 22. 이전 1 다음 728x90
