오늘은 LLM을 위한 chunking 방법론에 대해서 간단하게 알아보겠습니다.요즘 RAG를 주제로 하는 프로젝트나 논문들이 굉장히 많은데 이 RAG 방식을 취할 때 document를 작은 단위로 나누어 처리하는 것을 chunking이라고 합니다.여기에 여러가지 알고리즘들이 있는데 몇가지 주요 사용되는 알고리즘들을 알아보겠습니다! 우선 chunking이 필요한 이유는 다음과 같습니다.token 길이 제한 문제의 해결 - LLM이 한 번에 처리할 수 있는 토큰의 수에는 제한이 있기 때문에 긴 텍스트를 나누어서 넣어야 모델이 모든 텍스트를 다 다룰 수 있게됩니다.context 유지 - 긴 문서를 chunking을 통해 나누어야 각 문맥에서 중요한 정보들을 잘 유지할 수 있고, 특정 정보에 더 집중할 수 있게 ..

오늘은 Tiktoken 기능을 사용해보려고 합니다.원래는 OpenAI GPT 사용을 최대한 멀~리 멀~리 하려고 했는데, 포기했어요.너무 똑똑하그든요. 하지만, 내가 얼마 만큼의 토큰을 사용하고 있는지는 알아야겠죠?그게 다 돈이그든요. 사실, GPT에 쓸 돈 때문에 시도를 해본건 아니고요.보통 우리가 text 데이터의 길이를 분석할 때, 토큰나이저를 불러서 "음 이 데이터는 평균적으로 어느 정도 길이구나"를 가늠하잖아요?하지만, 요즘은 워낙 LLM을 많이 쓰니깐, GPT의 토큰화 방식으로 길이를 파악하는 것도 나쁘지 않겠더라고요.(tensorflow를 설치했다가 충돌 에러가 나서 그냥 쉬운 길을 선택한건 아니에요. 그냥 그렇다구요.) 먼저 개발자 AI연구가답게 살짝의 코딩을 가미한 방법입니다.본인의 가상..

매일 매일 글 쓰는거 그거 어떻게 하는 거랍니까?오늘은 간단하게 Ollama 사용법을 작성해볼게요. Ollama는 오픈소스 LLM을 로컬 PC에서 쉽게 실행할 수 있도록 도와주는 툴이에요.https://ollama.com/ OllamaGet up and running with large language models.ollama.com 요즘은 정말 노코딩시대네요.최신 모델들은 대부분 다 지원하고 있기 때문에 궁금한 모델이 있다면 다운 받아서 바로 바로 사용해볼 수 있어요.대신 모델의 크기가 커지면 커질수록 그만큼 많은 storage를 보유하고 있어야하기 때문에 로컬pc에 충분한 자리가 있어야 합니다. 1. ollama 다운로드 (본인 환경에 맞게 선택)https://ollama.com/download Do..