728x90 tiktoken1 Tiktoken 사용하기 오늘은 Tiktoken 기능을 사용해보려고 합니다.원래는 OpenAI GPT 사용을 최대한 멀~리 멀~리 하려고 했는데, 포기했어요.너무 똑똑하그든요. 하지만, 내가 얼마 만큼의 토큰을 사용하고 있는지는 알아야겠죠?그게 다 돈이그든요. 사실, GPT에 쓸 돈 때문에 시도를 해본건 아니고요.보통 우리가 text 데이터의 길이를 분석할 때, 토큰나이저를 불러서 "음 이 데이터는 평균적으로 어느 정도 길이구나"를 가늠하잖아요?하지만, 요즘은 워낙 LLM을 많이 쓰니깐, GPT의 토큰화 방식으로 길이를 파악하는 것도 나쁘지 않겠더라고요.(tensorflow를 설치했다가 충돌 에러가 나서 그냥 쉬운 길을 선택한건 아니에요. 그냥 그렇다구요.) 먼저 개발자 AI연구가답게 살짝의 코딩을 가미한 방법입니다.본인의 가상.. 2024. 11. 8. 이전 1 다음 728x90
