본문 바로가기
728x90

Rag4

Chunking Strategies 오늘은 LLM을 위한 chunking 방법론에 대해서 간단하게 알아보겠습니다.요즘 RAG를 주제로 하는 프로젝트나 논문들이 굉장히 많은데 이 RAG 방식을 취할 때 document를 작은 단위로 나누어 처리하는 것을 chunking이라고 합니다.여기에 여러가지 알고리즘들이 있는데 몇가지 주요 사용되는 알고리즘들을 알아보겠습니다! 우선 chunking이 필요한 이유는 다음과 같습니다.token 길이 제한 문제의 해결 - LLM이 한 번에 처리할 수 있는 토큰의 수에는 제한이 있기 때문에 긴 텍스트를 나누어서 넣어야 모델이 모든 텍스트를 다 다룰 수 있게됩니다.context 유지 - 긴 문서를 chunking을 통해 나누어야 각 문맥에서 중요한 정보들을 잘 유지할 수 있고, 특정 정보에 더 집중할 수 있게 .. 2024. 11. 9.
Meta: Adapting Open Source Language Models 이번 블로그 포스트는 논문 리뷰는 아니고, Meta에서 운영하는 블로그 글의 리뷰입니다.LLaMa를 개발한 Meta가 어떻게 Open Source Large Language Models (LLMs)를 활용할 수 있을지,Part1: Methods for adapting large language models,Part2: To fine-tune or not to fine-tune,Part3: How to fine-tune: Focus on effective datasts로 나눠 설명하고 있는데, 이 내용을 좀 간추려보려 해요.논문에 비해서 훨씬 읽기 쉬운 글이니, 처음 LLM 모델을 접할 때 읽으면 좋을 것 같습니다! 먼저 각 part에 대해 요약해서 말하자면, part1에서는 LLM 모델의 활용을 개괄적으.. 2024. 10. 24.
[논문 리뷰] RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture Gupta, A., Shirgaonkar, A., Balaguer, A. D. L., Silva, B., Holstein, D., Li, D., ... & Benara, V. (2024). RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture. arXiv preprint arXiv:2401.08406.https://arxiv.org/abs/2401.08406 RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on AgricultureThere are two common ways in which developers are incorporating proprietary and.. 2024. 10. 16.
[논문리뷰] Fine-Tuning or Retrieval? Comparing Knowledge Injections in LLMs Ovadia, O., Brief, M., Mishaeli, M., & Elisha, O. (2023). Fine-tuning or retrieval? comparing knowledge injection in llms. arXiv preprint arXiv:2312.05934.https://arxiv.org/abs/2312.05934 Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsLarge language models (LLMs) encapsulate a vast amount of factual information within their pre-trained weights, as evidenced by their ability to an.. 2024. 10. 15.
728x90

티스토리툴바