본문 바로가기
728x90

분류 전체보기52

2024.10.18-20 양평여행 얼마전에 다녀온 양평여행!이번 숙소는 양평의 일월일지로 다녀왔다. (link: https://ilwoldiary.com/) 당근이가 퇴근하고 양평으로 출발!첫날 저녁은 숙소에서 간단하게 파스타 해먹고 ㅎ 두번째날 점심은 당근이가 해준 카레우동 점심먹고 가볍게 퍼즐도 하나 맞춰주구~ 사실 하나씩 했는데 사진을 못찍었다  저녁은 고추장 목살! 흠흠 술도 한잔해주고 ㅎ  숙소에 불멍할 수 있게 장작도 있어서 불멍도 때려줬당. 직접볼 때 색이 훨씬 예뻤는데 카메라엔 다 안담기네ㅠ   양평여행 마지막날.. 세미원/두물머리에도 다녀왔다.세미원은 양평에 있는 자연공원이고 연꽃이 많다고 하는데, 우리가 갔을때 연꽃은 뭐랄까..애들이 다 말라서 갈색이 되어 있었다...두물머리는 남한강과 북한강이 만나는 지점이라 두물머리.. 2024. 10. 25.
Meta: Adapting Open Source Language Models 이번 블로그 포스트는 논문 리뷰는 아니고, Meta에서 운영하는 블로그 글의 리뷰입니다.LLaMa를 개발한 Meta가 어떻게 Open Source Large Language Models (LLMs)를 활용할 수 있을지,Part1: Methods for adapting large language models,Part2: To fine-tune or not to fine-tune,Part3: How to fine-tune: Focus on effective datasts로 나눠 설명하고 있는데, 이 내용을 좀 간추려보려 해요.논문에 비해서 훨씬 읽기 쉬운 글이니, 처음 LLM 모델을 접할 때 읽으면 좋을 것 같습니다! 먼저 각 part에 대해 요약해서 말하자면, part1에서는 LLM 모델의 활용을 개괄적으.. 2024. 10. 24.
[논문 리뷰] RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture Gupta, A., Shirgaonkar, A., Balaguer, A. D. L., Silva, B., Holstein, D., Li, D., ... & Benara, V. (2024). RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture. arXiv preprint arXiv:2401.08406.https://arxiv.org/abs/2401.08406 RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on AgricultureThere are two common ways in which developers are incorporating proprietary and.. 2024. 10. 16.
[논문리뷰] Fine-Tuning or Retrieval? Comparing Knowledge Injections in LLMs Ovadia, O., Brief, M., Mishaeli, M., & Elisha, O. (2023). Fine-tuning or retrieval? comparing knowledge injection in llms. arXiv preprint arXiv:2312.05934.https://arxiv.org/abs/2312.05934 Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsLarge language models (LLMs) encapsulate a vast amount of factual information within their pre-trained weights, as evidenced by their ability to an.. 2024. 10. 15.
[논문리뷰] Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning Link: https://aclanthology.org/2024.findings-acl.958/ ACL2024 findings에 accept된 paper이다. Teacher-student model.. 모델의 distillation에서 자주 보던 용어다. 여기서도 같은 의미로 사용되는데 모델의 경량화와 함께 따라오는 학습 속도의 개선, 그러면서도 성능 유지를 위해서 이러한 방식을 채택한다. 이 논문에서는 data의 효율성을 위해 새로운 데이터의 수집 없이도 student 모델의 성능향상이 가능하다고 주장한다.내용이 엄청 쉽지는 않았어서 나름 이해하기 쉽게 작성해봤습니다.Distillation은 잘 모르는 분야기도 하고, 열심히 이해해봤는데 틀린 부분이 있을 수 있어요..ㅠㅠAbstractProblem: .. 2024. 10. 15.
[논문리뷰] LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-tuning of Large Language Models Zhiqiang Hu, Lei Wang, Yihuai Lan, Wanyu Xu, Ee-Peng Lim, Lidong Bing, Xing Xu, Soujanya Poria, and Roy Lee. 2023. LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 5254–5276, Singapore. Association for Computational Linguistics. https://arxiv.org/abs/2304... 2024. 10. 14.
728x90

티스토리툴바