728x90 오블완 챌린지16 미리캔버스 사용하기 토마토가 멱살잡고 IT블로그로 만들어 놓으면제가 우당탕탕 말아 먹는 현실IT? 잇(It)템(Item) 아닌가요? 오늘은 돈은 안냈지만 돈 내고도 써보고 싶어지는 미리캔버스를 소개해 볼게요.https://www.miricanvas.com/ 디자인 플랫폼 미리캔버스디자인 작업이 필요한가요? 5만개 이상의 무료 템플릿으로 간편하고 편하게 원하는 디자인을 만들 수 있어요.www.miricanvas.com 대학, 대학원, 회사 등등 사회 생활을 하다보면 제 저주받은 미적 감각을 원망하게 되는 날이 이따금 찾아옵니다.영혼을 갈아넣어 만든 ppt도 찢고 싶어지는 그런 날이 오그든요.그럴때..! 미리캔버스를 사용하면 이미 죽어서 관짝에 들어가 있는 미적 감각을 다시 깨울 수 있어요.(관계자같지만, 사실상 무료 사용자 .. 2024. 11. 27. KLUE/RoBERTa 토크나이저 토큰 대체하기! BERT 계열 모델을 사용하다 보면, 모델의 도메인에 대한 이해를 높인다던가 어떤 중요한 단어를 토큰화하지 않고 하나의 토큰으로 가져가게 하고 싶은 경우가 있지요.예를 들어 곤충 언어모델을 만들고 싶은데 토크나이저에 '나비' 토큰을 추가하지 않고,'나', '##비'로 토큰화 되어버리면 정말 슬플거에요.사실 subword tokenizer의 장점이 Out of Vocab에 강하다는 건데그래도 '나비' 로 바로 토큰화해서 모델이 받는거랑 '나' '##비' 혹은 '나' '비' 로 받는 거랑은모델이 이해하는데 차이가 조금은 있을 수 있겠죠?이럴 때 tokenizer.add_tokens 로 토큰을 추가하고, resize_token_embeddings를 적용하는 방법이 있긴한데,이렇게 하면 임베딩 사이즈가 달라지게.. 2024. 11. 26. Document Retrieval Evaluation Metrics - 2 2024.11.22 - [오블완 챌린지] - Document Retrieval Evaluation Metrics - 1 Document Retrieval Evaluation Metrics - 1RAG에서 중요한 요소는 크게 2가지이다.첫번째로 사용자가 입력한 쿼리와 관련된 문서를 찾는 것,두번째로는 검색된 문서 (chunks)를 기반으로 얼마나 질문에 대한 답변을 잘 하는지.여기서 첫번째carrotomato.tistory.com 오늘은 어제 작성했던 Document Retrieval 에서의 평가 metric 2번째 포스트.저번 포스트에서는 Confusion Matrix를 기반으로 하는 기본적인 IR evaluation metrics을 알아봤다.오늘은 추가적으로 많이 사용하는 metrics인 Mean Av.. 2024. 11. 23. Document Retrieval Evaluation Metrics - 1 RAG에서 중요한 요소는 크게 2가지이다.첫번째로 사용자가 입력한 쿼리와 관련된 문서를 찾는 것,두번째로는 검색된 문서 (chunks)를 기반으로 얼마나 질문에 대한 답변을 잘 하는지.여기서 첫번째 요소인 Information Retrieval 에 대해 평가는 어떻게 해야할까?이건 정보 검색을 하는데 주로 사용되는 임베딩 모델의 평가와도 관련이 있다.우선 정보검색은 추천시스템과 아주 유사한 task라고도 볼 수 있다.사용자가 원하는 정보를 k개 검색해서 사용자한테 추천해주는 system인데기준을 쿼리와 저장된 chunks 사이의 임베딩 유사도라고 표현하면 이해가 좀 쉬우려나..?그래서 간단한 평가 metrics은 무엇이 있느냐.. 하면!우선은 confusion matrix를 기반으로 하는 평가 방법이 있.. 2024. 11. 22. TopicGPT 사용하기 올해 4월쯤 Topic Modeling 연구를 조금 했었거든요.BERTopic을 대체할게 뭐 없을까 하다가 LLM을 활용해서 Topic Modeling을 하는 논문을 발견했었어요.당시에는 간단한 아이디어인데 나쁘지않네 정도로만 생각했는데,글쎄 NAACL 2024에 등재되었네요..! https://arxiv.org/abs/2311.01449 TopicGPT: A Prompt-based Topic Modeling FrameworkTopic modeling is a well-established technique for exploring text corpora. Conventional topic models (e.g., LDA) represent topics as bags of words that often .. 2024. 11. 21. 상하목장 오가닉 그릭요거트 리뷰 IT블로그 맞습니다.전 일하러 온 사람 맞습니다. 오늘은 최근에 빠져든 요거트 리뷰를 해볼게요. 전 집에서 유청을 빼다가 그릭 요거트를 만들어 먹을 정도로 요친자입니다.그래서 궁금한 제품이 나오면 꼭 사먹어 보거든요. 원래는 꾸덕한 요거트 식감을 너무 좋아해서 그릭데이나 룩트를 사먹거나너무 비싸다 싶으면 집에서 만들어먹었는데,요즘 아침 대용으로는 그냥 쭉쭉 빨아먹을 수 있는 요거트가 땡기더라고요. 바로 요제품입니다.맛은 사과&케일 / 블루베리&케일 이렇게 2가지 종류가 있는 것 같은데아직 사과&케일 밖에 못 먹어봤어요.칼로리도 100kcal 밖에 안해요!요거트치고는 정말 적은 편이라고 생각합니다. 근데 양에 비해서 가격이 조금.. 조금 많이 비싸긴합니다.마트나 인터넷이나 개당 약 3,000원 정도 생각하.. 2024. 11. 19. 이전 1 2 3 다음 728x90
