Ollama 사용하기

매일 매일 글 쓰는거 그거 어떻게 하는 거랍니까?

오늘은 간단하게 Ollama 사용법을 작성해볼게요.

 

Ollama는 오픈소스 LLM을 로컬 PC에서 쉽게 실행할 수 있도록 도와주는 툴이에요.

https://ollama.com/

Ollama

 

요즘은 정말 노코딩시대네요.

최신 모델들은 대부분 다 지원하고 있기 때문에 궁금한 모델이 있다면 다운 받아서 바로 바로 사용해볼 수 있어요.

대신 모델의 크기가 커지면 커질수록 그만큼 많은 storage를 보유하고 있어야하기 때문에 로컬pc에 충분한 자리가 있어야 합니다.

 

1. ollama 다운로드 (본인 환경에 맞게 선택)

https://ollama.com/download

Download Ollama on macOS

 

2. LLM 모델 둘러보기

홈페이지에서 Models를 누르면 촤르륵~ 내가 궁금했던 LLM 모델의 리스트가 보입니다.

Models

 

3. LLM 모델 선택해서 다운받기

하나를 클릭해서 들어가면 아래 처럼 친절하게 어떤 명령어로 모델을 돌려볼 수 있는지 나와있어요.

그럼 로컬pc에서 cmd창을 열고 ollama를 입력합니다. (1)에서 잘 다운로드 받았다면 첫번째 화면을 볼 수 있어요.

그 다음 명령어를 그대로 ctrl+c / ctrl+v 합니다. (ollama run llama3.2)

 

4. 다운 받은 모델과 대화하기

(3)에서 모델이 잘 다운받아졌다면 ollama list를 입력했을 때, 아래처럼 내가 받은 모델이 떠야해요.

만약에 안 받아졌다면, 다시 명령어를 입력해서 받아보세요.

대화 방식은 모델을 다운 받은 명령어와 동일합니다.

다시 한 번 ollama run llama3.2를 입력하세요. (받자마자는 별도의 명령어 입력 없이 아마 바로 대화 화면으로 넘어갈 거예요.)

 

아래와 같은 화면이 보인다면 이제 끝입니다.

신명나게 대화하세요.

 

결과는..?!

저도 interesting 하네요.. 다양한 언어를 지원할 수 있다는걸 은근~하게, 아니 대놓고 자랑하네요...

원더월드 오블완은 모르겠고, 티스토리 오블완 챌린지는 하고 있어. 지금.

 

이건 단순히 모델의 기본 세팅값에서 대화를 하는 거니깐 나에게 뭔가 맞추고 싶다하면 다른 방법을 추가해야 할 거예요.

ollama는 langchain도 지원하는 것 같으니 필요하신 분은 써보시면 좋을 것 같네요.

대화를 끝내고 싶다면

저도 /bye