728x90 ACL1 [논문리뷰] Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning Link: https://aclanthology.org/2024.findings-acl.958/ ACL2024 findings에 accept된 paper이다. Teacher-student model.. 모델의 distillation에서 자주 보던 용어다. 여기서도 같은 의미로 사용되는데 모델의 경량화와 함께 따라오는 학습 속도의 개선, 그러면서도 성능 유지를 위해서 이러한 방식을 채택한다. 이 논문에서는 data의 효율성을 위해 새로운 데이터의 수집 없이도 student 모델의 성능향상이 가능하다고 주장한다.내용이 엄청 쉽지는 않았어서 나름 이해하기 쉽게 작성해봤습니다.Distillation은 잘 모르는 분야기도 하고, 열심히 이해해봤는데 틀린 부분이 있을 수 있어요..ㅠㅠAbstractProblem: .. 2024. 10. 15. 이전 1 다음 728x90
